亚马逊推出AWS Inferentia芯片用于人工智能部署

evan
特邀作者
文章摘要: Inferentia检测主要框架何时与EC2实例一起使用,而且能够在每个芯片上获得数百个TOPS

亚马逊今天宣布推出了一款由AWS设计的芯片,这款名为Inferentia的芯片专门为带有GPU的大型AI模型而设计。

该芯片能够与TensorFlow和PyTorch等主要框架协同工作,并兼容亚马逊机器学习服务SageMaker和AWS 的EC2实例类型。Inferentia还将与Elastic Inference合作,以便加速GPU芯片部署AI的使用。

Inferentia检测主要框架何时与EC2实例一起使用,而且能够在每个芯片上获得数百个TOPS,用户也可以将这些顶级数据捆绑在一起以获得数千个TOPS。从这些数据种可以找出哪些部分从加速中受益最多, 然后将这部分数据移动到弹性推理以提高效率。

目前推出AI模型所需的两个主要流程是培训和推理,推理占了近90%的成本。

亚马逊的工程师则认为运营成本可以通过Elastic Inference节省75%的成本,如果Inferentia投入使用,成本还将降低十个百分点,这将是一个重大变革。

“你将能够在每个芯片上获得数百个TOPS; 如果你愿意的话,你可以将它们捆绑在一起以获得数千个TOPS,“AWS首席执行官Andy Jassy今天在年度re:Invent会议上表示。

Inferentia预览中还提供了许多不需要预先知道如何构建或训练AI模型的服务,包括Textract——一种用于从文档中提取文本的服务,和Personalize——一种用于向客户提供个性化建议的AI模型,以及Amazon Forecast——一种生成私有预测模型的服务。

Inferentia预计明年上市。

本文地址:https://www.xinfengtv.com/11291-aws-inferentia.html

新风网文章都系原创作品,已加入百度及腾讯原创保护计划,未经授权请勿转载!!

猜你喜欢