在网络中计算,Mellanox开创新一代智能网络

科技云报道:

机器学习、人工智能等应用的兴起,令业界对数据的传输速度、带宽与安全产生了越来越多的需求,Mellanox这个名字也开始广为人知。作为一家以InfiniBand网络起家的公司,Mellanox如今的业务已经不局限于IB网络本身,以太网业务则成长为了公司的主要业务。

近日,在Mellanox主办的“RDMA加速人工智能计算”技术研讨会上,腾讯、阿里、微软、英伟达、今日头条、商汤科技、Face++、浪潮和香港科技大学等多家国内最顶级的AI企业和研究机构都来到现场,与业界分享了AI前沿的技术干货。

这些赫赫有名的企业,有的是Mellanox的客户,有的是Mellanox的合作伙伴,在探索AI的道路上彼此始终合作紧密。

与此同时,Mellanox CEO Eyal Waldman也开启了他的访华之旅,同往常一样,Eyal的行程安排得很满,一到中国就开始马不停蹄地拜访客户。

在此次技术研讨会上,科技云报道独家专访Mellanox公司创始人、总裁兼CEO Eyal Waldman,针对以太网的演进和在大数据、AI方面的应用,以及面向未来的网络技术创新等问题进行了深入探讨。

Mellanox公司创始人、总裁兼CEO Eyal Waldman

超越极限

以太网的高速演进

人们在谈论以太网时,首先涌入脑海中的也许是电脑上的局域网或是路由器上的WiFi。实际上,以太网无处不在。以太网不仅覆盖了家庭网络及用户终端,更应用在运营商网络、大型数据中心和服务提供商等领域。

第三方报告数据表明,自2000年起,在工业应用领域中,10Gb以太网占到工业应用80%的份额。

针对不同的应用场景,以太网拥有不同的速率。在企业层面,2.5Gb、5Gb和10GE支持了企业高速率的接入和WiFi上的应用;在数据中心层面,经历着25Gb、50Gb、100Gb、200Gb一直到到400Gb以太网的演进;在服务提供商层面,以太网主要推动了100Gb、200Gb到400Gb的发展。

据Eyal介绍,在上个月最新发布的全球超级计算机Top500榜单中,Mellanox以太网解决方案连接了TOP500榜单中所有的25Gb、50Gb和100Gb以太网系统,来自中国的超大规模企业已在多个数据中心内部署了25Gb以太网。

Eyal认为,随着25Gb以太网被越来越多的公司采用,Mellanox在以太网上取得的市场份额将越来越大,而竞争对手英特尔主导的万兆(10Gb)领域优势将逐渐衰弱。毕竟25Gb、50Gb到100G才是未来的发展趋势,在这三个网速上Mellanox具备其他企业无法比拟的网络技术优势。

“Mellanox始终保持着一代技术的领先,我们已经有了200Gb和400Gb,但英特尔只有100Gb,我们会把差距拉得更大。在未来可以预见的好几年之内,我们都会领先英特尔一到两代的产品。”Eyal表示,明年初Mellanox会对外销售包括以太网和InfiniBand在内的200Gb端到端的产品,包括网卡、交换机,还有网线加光模块。

Eyal略带骄傲地告诉记者,这套完整的数据中心网络解决方案,正是为了保证整个网络能够实现端到端的高速演进,因为“Mellanox在网络上面是跑得最快的,为了没有人能拖累我们,所以做了一个端到端的闭环”。

据Eyal透露,目前Mellanox已在着手开发800Gb的产品,按照每代产品升级换代的速度,2020年之前800Gb产品应该就能面世。

颠覆传统

智能网络的革新创想

在网络的演进过程中,过去以太网一直以10倍规律的传输速率在增长,然而从2014年开始,以太网打破了10倍的传统惯例,开始探索2.5Gb、5Gb和25Gb的可行性。

新的应用场景正在不断催生新型以太网接口出现,不仅推动每个通道的速率提升,更推动以太网向综合性的、可定制的方向发展。

曾经业界将目光放在高速网络上,如今以Mellanox为主导的系统厂商们开始提出全新的概念——智能高速网络。

所谓的智能高速网络,采用了独有的加速引擎和网络卸载技术,通过在网络设备里增加先进的逻辑运算单元的方式,将原来需要CPU做的一些计算工作卸载到了网络中来,为CPU分担工作量。

这种“在网络中计算”的新型技术,不仅比传统网络的计算速度高出几倍,同时也提高了CPU在运行应用时的效率。

不得不说,这种颠覆性的网络处理方式在AI时代显得恰逢其时。在典型的深度学习场景下,机器训练和推理有赖于大量的数据传输和处理。如何突破传统CPU处理数据的瓶颈,大幅提升应用性能,成为AI赛道抢跑的关键一环。

在Eyal看来,网络变得越智能,机器学习的效率也会越高。

一方面,Mellanox的网络产品提供更高的带宽高传输数据,或者说在同样的时间内,Mellanox的产品能处理更多的数据;另一方面,由于计算的很多瓶颈都在通讯上,Mellanox的网络内计算技术,将一部分数据处理在网卡和交换机内完成,而不用将所有数据都传输到CPU去处理,从而让计算的速度更快。

Eyal对此做了一个很酷的比喻,他将这个过程形容为“在数据移动中计算”。

事实证明,Mellanox智能网络带来的效率令业界赞叹不已,在Mellanox和百度机器学习平台的合作中,采用Mellanox SpectrumTM 以太网交换机和 ConnectX-4 100Gb/s以太网适配器,为百度在机器学习训练时间上实现了200%的提升,满足了百度对更高数据速率和最有效数据传输的需求。

Mellanox和商汤科技的合作,更是将一个数据集的训练时间从一周缩短到一天,让商汤科技的图像识别模型能更快更准确地识别物体。

对此Eyal表示:“因为我们能让数据传输的更快,可以为用户节省很多时间和成本。采用我们网络的图像识别系统可以读取/传输更多的数据,识别的速度更快,也更精准。同样的时间内,Mellanox的网络速度更快更智能。”

与业界多家领先人工智能企业及平台的合作,也令Mellanox的智能高速网络更加smart,更加适合机器学习的框架。

在这些AI企业看来,Mellanox的网络设备卸载了CPU/GPU上的一些工作,分担了更多的计算任务,是一个非常好的协处理器(co-processor)。

同时,Mellanox的网络快速传输协议RDMA可以更好地支持机器训练平台架构,不仅支持Tensorflow、 Caffe、CNTK等主流开源平台,同时也在国内AI厂商自研的机器学习平台中得到了广泛的应用。

由于技术上的通用性,Mellanox与各大AI厂商合作的案例常被推荐给其他厂商借鉴,对智能高速网络在市场上起到了很好的推动作用,对于Mellanox和AI厂商来说也达到了双赢的结果。

Eyal认为,人工智能应用这几年增长显著,对Mellanox来说无疑具备很大的潜力。“如果你关注百度、阿里巴巴、Facebook、微软,会发现他们都在采用Mellanox的互联网络。我相信Mellanox目前和未来都会是机器学习、深度学习、人工智能领域(含大数据)最先进的互联方案提供商。”

紧握机遇

Mellanox的厚积薄发

作为世界领先的高性能计算、数据中心端到端互连方案提供商Mellanox,无论是InfiniBand解决方案还是以太网系统,早已被业界大规模部署,为各大平台提供着业界最高的效率。

基于在以太网和InfiniBand行业领导者的地位,Mellanox凭借着云计算的蓬勃发展趋势,同步也在大力发展自身的交换机芯片业务。

在收购EZchip以后,Mellanox推出了全新的BlueField产品,将多种芯片融合在一起集成为一个更智能的、功能更完善的设备。由于内嵌了ARM CPU芯片,BlueField比普通的网卡处理能力更强大。

值得一提的是,业界对于BlueField产品也非常期待。从性能上看,无论在延迟、带宽、丢包率以及延迟的稳定性上,公开的第三方测试结果都表明BlueField远胜于目前市占率第一的Broadcom交换机芯片。

同时,随着云计算发展带来的IT基础设施变革,大型的互联网公司和公有云厂商对自主可控的交换机的渴望也更加迫切。一方面,价格可控,厂商追求最佳的性价比;另一方面,厂商采用自己编程的软件,方便管理。

从开放性上看,Mellanox是业界最先提出Open Ethernet即开放以太网概念的厂商之一,采用软硬件分离的系统,客户既可以使用Mellanox的软件,也可以使用开源软件,还可以自己研发软件,通过Mellanox开放的API、SDK去管理交换机。

正是Mellanox的高性能和开放性为其交换机业务带来了新的增长。以前只有Broadcom一家做交换机芯片,Mellanox的加入令互联网公司乐见其成。很多互联网公司同时在使用两家公司的产品,并存和对比成为目前市场上的一种常态。

Eyal认为,未来规模大了以后,极有可能出现供货形态的转变,Mellanox交换机被互联网公司大规模采用的趋势是非常强烈的,这将是未来的一个非常大的机遇。

事实上,这种机遇不仅体现在全球IT发展趋势中,在整个中国市场体现得非常明显。据Eyal介绍,目前Mellanox大概有30%的营收来自亚太市场,其中中国的增速非常快,已成为仅次于美国的全球第二大客户市场。

Mellanox在中国的客户群和合作伙伴,几乎包揽了耳熟能详的名字:BAT、今日头条、京东、美团等知名互联网企业,以及浪潮、华为、联想、ZTE、中兴等大型IT服务商。Eyal表示中国市场极具潜力,他非常期待2018、2019年中国市场达到两位数的增速。

在HPC和以太网的网络互连领域,Mellanox可谓是名副其实的领导者,始终为超大规模计算、云和企业级数据中心提供高效网络。而Mellanox智能高速网络正在倡导一场新的计算变革,必将引领行业在深度学习、大数据、物联网等领域继续深入与探索,让未来网络世界不再遥远。

 

【科技云报道原创】