12月18日,微软亚洲研究院宣布联合清华大学、北京大学、南京大学、兰州大学、新加坡国立大学、首尔国立大学等多所亚洲地区高校,成立OpenNetLab开放网络平台联盟。
OpenNetLab官网地址:/
通过为研究人员提供通用的分布式网络测试平台,以及真实的网络评测数据集,OpenNetLab旨在推动人工智能(AI)在网络研究中的应用与发展,构建健康、可持续的网络研究生态系统。
如今,AI在视觉、语音、自然语言等领域的应用如火如荼,上层不断发展变化的各种应用,需要底层网络架构的稳固支撑才能得以实现。如何挖掘AI技术的潜力来提升网络领域的研究,是目前学术界和工业界共同关注的焦点。然而,AI技术在网络领域的应用面临诸多挑战。
一方面,网络AI模型的训练和验证需要大量的数据,真实且有代表性的网络数据能提升模型的准确性和适用性,但研究人员获取大规模真实网络数据具有较大难度;另一方面,由于网络结构的多样性,以及网络设备、连接方式的异构性,如果希望一个网络模型适用于不同的场景,那么一次性离线训练的模型显然远远不够,而适合于此的强化学习模型对训练环境和场景要求很高。OpenNetLab()的诞生正是为了应对这些挑战,为研究人员提供基于现实网络的真实数据,并能实地训练和验证网络模型
OpenNetLab可以做什么?
通过微软亚洲研究院常务副院长周礼栋的介绍,我们了解到,首先,OpenNetLab开放网络平台的任务,是通过构建分布式异构节点收集不同区域、形态、场景的网络数据。
现阶段,微软亚洲研究院已经完成了分布在17个主要集中于亚太地区的节点,还有28个节点在建设之中,并且正在逐步进入大规模测试阶段。
下一步,OpenNetLab计划将与合作高校一起在亚洲范围内建设40多个分布式异构节点,并拓展至全球区域部署。
这些节点的作用是什么呢?周礼栋解释道,每个节点将由服务器、笔记本电脑、智能设备等组件构成,同时提供有线宽带、无线局域网和4G/5G移动网络的接入能力,数据存储、集成、分享的标准化接口,以及适用于不同网络环境的AI模型运行、训练和验证工具,帮助研究人员专注于网络AI算法和模型。今后,这些节点将在平台用户同意的情况下,实时收集网络状态、数据包跟踪等非隐私/非敏感数据,为各类网络AI模型的训练及验证提供支持。
OpenNetLab的另外一个重要任务,是提供真实的网络测试能力。
正如南京大学计算机科学与技术系副教授田臣所说,高校在开展网络研究相关实验研究时,遇到的最大的问题之一,就是网络真实性的问题。之前,高校大多是在仿真的网络环境中进行试验,并不直观。有了OpenNetLab之后,高校可以让学生在真实的网络环境中做实验,感受真实的互联网特性。这对于后备力量的培养和研究工作是非常重要的。
重要的是,OpenNetLab能为AI网络研究提供真实的数据。田臣说道,测试数据及对AI在每个领域中的应用都起到了非常重要的推动作用,比如推动计算机视觉领域快速发展的ImageNet。OpenNetLab希望能够产生这样一个测试集,让网络研究能够基于真实的数据集,让研究者进行创新。
解决了上述痛点问题之后,研究人员就可以专注于网络在AI算法、模型上的研究,而无需过多考虑网络的复杂特性,专注于用AI解决应用问题。
网络研究模式将发生全新转变
微软亚洲研究院做OpenNetLab,实际上很重要的一点是基于对未来的一个很重要的判断——网络本身它实际上也在进入一个新的阶段。
周礼栋提到,现在的网络与往日已经不可同日而语,面临着很多新的挑战。比如网络在异构设备之间的传输问题,用户的需求和应用的多样性,以及网络本身遇到的发展瓶颈等,以前网络的研究、建设、开发还是比较传统的方式,但现在,数据量增长速度惊人,网络的实时变化性、复杂性也比以往高出很多,传统的网络研究和设计理念都遇到了很大的挑战,引发网络设计、网络研究模式进行巨大的转变,尤其是以“数据为中心”的新范式。
在AI不断发展的背景下, 通过以数据为中心,用AI技术处理网络的复杂性、多样性以及网络在时序上的多变性等问题,AI成为一个非常好用的工具。
另一方面,因为网络本身就是一个开放的、共享的资源,网络本身的问题牵涉到所有参与网络的群体,这决定了问题不可能被单独一方解决,所以,我们需要一个社区搭建一个公共的基础设施,让大家看到问题,才能够有效地解决问题。
这也是微软亚洲研究院成立OpenNetLab最主要的初衷,就是以开放、共享、合作的方式,共建社区。
多所高校已加入联盟,将在GitHub开源
OpenNetLab开放网络平台联盟的主要发起机构为微软亚洲研究院、清华大学、南京大学和北京大学,其它合作成员还包括兰州大学、新加坡国立大学、首尔国立大学、韩国科学技术院、南方科技大学、上海交通大学等亚洲范围内的高校。
OpenNetLab平台的真实数据集不仅为高校提供了丰富的实验资源,也使得相关课程教学及实验更加接近现实世界的网络应用情况。多所合作高校已基于该平台展开了相关研究。
此外,微软亚洲研究院还透露,未来OpenNetLab平台的网络状态数据集将在GitHub上发布,为网络研究提供日渐丰富的训练数据和验证数据,面向网络、多媒体、人工智能等多领域的科研组织和研究人员开放,希望更多志同道合的科研工作者加入,一起推动网络研究的发展。