专访小米崔宝秋：云原生与大数据、AIoT、开源的碰撞之路

专访小米崔宝秋：云原生与大数据、AIoT、开源的碰撞之路

谈起当前技术领域的热词，必然少不了云原生、大数据、AIoT。 不仅因为这些新兴技术具有前所未有的创造力，还因为它们每一项都代表着许多未知的可能性。 而当这些技术相互碰撞时，将会给软件开发、技术进步、城市升级带来无限想象。 在云原生、大数据、人工智能、开源等领域拥有实践经验的崔宝秋认为，云原生+大数据等技术的“强强联合”将成为云原生时代的发展趋势，而运维和基础软件开发开发人员、服务器端和前端开发人员关注的技术点不同。

记者| 田伟静受访者 | 崔宝秋

制作者 | 新程序员

说到小米集团，我们大多数人都会脱口而出“雷军”； 说到小米+开源，很多人第一时间就会想到小米集团副总裁崔宝秋。 崔宝秋不仅亲自推动开源发展，还引领了小米“云计算-大数据-人工智能技术”的发展路线。 崔宝秋于2012年加入小米担任首席架构师，主要负责后端服务器团队。 在他看来，这家公司与他熟悉的硅谷互联网科技公司不同。 缺乏非常重要的集团级工程技术部门和运维部门。 因此，他毅然决定以服务器团队为基础打造小米云平台。 “使用云平台这个名字主要有两个考虑：一是这个团队一定是服务于整个集团的底层平台部门，而不仅仅是米料业务；二是体现了‘云’的重要性，从云存储到服务，都体现了‘云’的重要性。 “云计算和云是各种互联网服务和大数据应用的基础，这与现在人们所说的云原生不谋而合。”崔宝秋说。

崔宝秋 小米集团副总裁

确实，“云”的重要性正在逐渐为公众所认识。 这体现在云原生与智能硬件的结合，为产品增添了智能服务，为用户提供贴心的体验； 体现在云原生与人工智能（AI）的结合，一方面利用人工智能解决云原生领域的决策和优化。 另一方面可以让产品具备更强的人工智能服务能力； 还体现在云原生与大数据的结合上。 大数据是云原生治理整个数字化转型生态的重要方向； 还体现在“云”与开源的互惠互利上。 协作带来软件、云环境、开源生态的大发展。

那么，云原生与大数据、人工智能、硬件、开源能够碰撞出怎样的火花呢？ 小米集团副总裁崔宝秋向《新程序员》透露了很多信息，也分享了很多个人观点和行业见解。

互联网技术离不开“云”

《新程序员》：2021年你会如何分配工作精力？

崔宝秋：2021年我主要忙于小米内部人才培养、技术合作、开源、安全隐私等工作。 在培训方面，我们希望覆盖小米几乎所有员工，从专业技能、常识到领导力。 在专业领域，因为小米的技术体系非常庞大，所以压力很大。 总体来看，小米学生对云计算、大数据、人工智能的需求较大。

《新程序员》：当您加入小米组建人工智能和云平台团队时，云计算、大数据等技术还不是特别成熟。 哪些因素让您认定并主导了小米的“云计算-大数据-人工智能技术”这条发展路线？

崔宝秋：在加入小米之前，我在硅谷雅虎工作，从事搜索引擎和大数据工作。 这两次工作经历让我对云计算和大数据，尤其是大数据有了非常深刻的认识。 来到小米后，我坚信大数据能为小米带来无限价值，所以一到小米就开始宣传大数据和数据科学，到处倡导数据驱动、数据科学家的理念。 可以说我当时的最终目标是做大数据，没有考虑人工智能（那是2012年，深度学习才刚刚开始普及，人工智能真正普及是四年后，2016年） 。 大数据离不开云，所以必须从云计算入手，打造云平台团队。 2016年事件发生后，基于深度学习和大数据的新一代人工智能技术得到了业界的高度认可。 小米也与时俱进，制定了“All in AI”战略，开始成立小米AI实验室大力投入人工智能，小米云平台团队更名为“小米人工智能与云平台”团队，并现已拥有较为完整的“云计算-大数据-人工智能”技术发展路线。

《新程序员》：在中国移动互联网的黄金时代，您为什么认为云平台是移动互联网企业必须具备的互联网属性？

崔宝秋：在回答这个问题之前，我们需要先澄清另一个问题：什么是互联网公司？ 我认为互联网公司是利用互联网技术在互联网平台上分发内容和服务并从中获利的公司。 移动互联网就是今天的互联网。 互联网技术离不开云，无论是云计算、大数据还是人工智能。 移动互联网公司要分发内容和服务，离不开应用和互联网服务。 也离不开云和云服务器。

云原生将向大数据方向发展

《新程序员》：很多人都知道“云原生”，但“云原生”到底是什么？ 行业中有很多定义，而且它们总是在变化。 你对云原生的理解是什么？

崔宝秋：云原生是近年来比较流行的一个概念，不同的人可能有不同的解读。 我理解的云原生是一种基于云计算的灵活性、可扩展性和弹性来构建和运行软件应用程序的哲学和方法论。 在云原生的概念中，所有应用程序在设计阶段就应该考虑如何最好地运行在云计算环境中，以利用云计算的弹性、高容错性、自我恢复和按需使用的优势。 云原生方法论通常涵盖微服务、容器、CI/CD、敏捷开发等现代软件开发技术和概念。

《新程序员》：目前云原生的技术瓶颈和实施痛点是什么？

崔宝秋：大型企业实施云原生主要面临两类挑战：一是容器、编排等硬核技术，二是企业服务管理的治理技术。 第一类挑战属于硬核技术。 近年来的发展积累了一些成熟的基础能力。 然而，随着云原生在更广泛领域的应用，我们也面临着新的挑战，比如如何更安全、更快速、软硬件一体化等。第二类挑战是技术管理挑战，是一个技术、业务、组织整体协同的复杂问题，包括新老技术团队的划分、现有业务的治理转型等。

《新程序员》：云原生的核心是面向用户的应用部署。 如何稳定、快速地将全生命周期应用部署到云端？

崔宝秋：云原生技术在业务侧的结果是改善应用部署。 从这个角度来看，关注应用和服务是很自然的事情。 为了实现这个目标，一般有两种想法。 一是强化基础服务即代码理念，让程序员通过“程序”来定义和管理整个生命周期； 二是让产品简单易用，降低产品使用门槛，尽可能封装抽象过程中的安全和质量细节，让每个人都能部署高质量的应用。 前者更适合专业程序员，而后者则针对更广泛的用户。 目前业界有从第一种方法转向第二种方法的趋势，这也符合技术发展的趋势。

《新程序员》：企业在构建云原生应用时如何最大限度地发挥云原生的特性？

崔宝秋：云原生推进的重点不是像虚拟化生态那样从基础设施自下而上推动变革，而是聚焦业务应用，自上而下拆解相关核心能力并落地。 大中型互联网企业仍需要根据云原生的业务需求，快速构建自己的云原生应用和服务平台。 通过不断积累相关技术和组织能力，推动增量业务的利用和存量业务的迁移。 只有在计算和存储分离的基础上尽可能实现资源池化，才能最大限度地发挥云原生的相关特性。

《新程序员》：有人认为云原生会向大数据方向发展。 你怎么看待这件事？ 对于这个方向，您预测有哪些实际场景和应用？

崔宝秋：我同意这个观点。 部分原因是未来大数据在各个领域的重要性将越来越明显。 越来越多的应用将离不开大数据以及依赖于大数据的人工智能。 传统基于生态的大数据系统存在灵活性不足、维护困难、资源利用率低等一系列问题。 因此，一些云原生技术也适合管理大数据生态。 例如，线上线下计算集群的部署，可以通过容器化治理实现削峰填谷，从而显着提高资源利用率； 云原生应用对有状态服务的强烈需求将推动高性能分布式存储技术的快速演进； 容器镜像技术可以大大加快大数据基础软件和系统的迭代更新频率，保证整体环境的最终一致性。 可以说，大数据的方向是整个数字化转型生态的云原生治理的重要方向。

《新程序员》：您认为云原生技术未来会朝哪些方向发展？ 开发者可以重点关注哪些方面？

崔宝秋：从小米的角度来看，我们认为云原生有以下几个发展方向。

首先，容器周边技术的核心突破，包括计算与存储分离、资源隔离、混合部署、软硬件一体化、安全技术等，解决了容器承载有状态应用、提高资源利用率的一系列问题。

二是非Java生态系统的微服务开发框架。 目前最完善的微服务体系是Java技术栈。 其他主流研发语言需要更成熟、民主化的解决方案才能广泛应用。

第三，在数字化转型的背景下，有传统架构向微服务架构迁移的工具和解决方案，以及当前主流的低代码等新技术与云原生的融合。

第四，业务逻辑和基础服务极度分离。 云原生的不可变基础设施偏于IaaS层面。 未来，大量无状态服务将在PaaS、SaaS层面逐步孵化和发展。 目前一个典型的例子就是这些服务的大规模使用。

运维和基础软件开发人员可以关注第一点和第四点，而服务器和前端开发人员可能需要更多关注第二点和第三点。

云原生与AIoT密不可分

《新程序员》：小米集团什么时候开始布局云原生？ 目前在云原生方向做什么？

崔宝秋：早在2015年，我就要求团队开始研究容器和微服务，并很快开始在一些场景中实现这些技术。 长期以来，Mesos 和 Mesos 都是在集团内部同时部署的。 早期的Mesos已经比较成熟了，但是我一直比较看好当时不太成熟的。 现在看来，当时的判断是正确的。

基于这些云原生技术，我们可以支撑业务的快速发展，同时减少研发和运维的工作量。 我们目前正在公司内部扩大这些技术的应用。 除了提升原有研发和运维效率带来的价值外，我们还更加注重资源效率的提升，通过云原生技术给业务带来大幅的成本降低。 。

在这个过程中，我们要解决两个挑战：云原生技术研发和企业架构治理。 云原生技术研发包括业务之间的混合、利用公有云资源进行弹性伸缩等； 企业架构治理包括推进面向服务的治理和现有服务的改造、规范研发流程、细化资源成本管理等。

《新程序员》：小米机器学习平台是基于构建的，概念多且复杂。 您在开发过程中是否遇到过任何技术难点或典型问题？ 另外，您在使用过程中能给其他公司什么建议？

崔宝秋：2016年，小米根据内部机器学习和深度学习需求，开始打造小米深度学习服务。 开发者可以在云端使用GPU训练模型，秒级启动分布式训练任务，并且兼容其他深度学习框架。 他们还可以一键部署经过训练的模型，或者创建基于GPU的开发环境来提供模型开发、训练和调优。 、测试、部署和预测一站式解决方案。

由于CPU机器普遍比较昂贵，遇到核心问题时如何加速深度学习训练并提高GPU集群资源利用率？ 我们主要利用RDMA网络来提升和训练网络性能，基于调度框架实现一个适合机器学习场景的调度器，支持更灵活的GPU调度策略和资源抢占，支持公有云弹性训练任务等，有效提升GPU集群的资源。 利用。

云原生生态已经日趋成熟，CNCF社区也包含了基础设施项目。 建议新企业更加积极拥抱云原生，加入云原生生态，利用生态红利，站在巨人的肩膀上打造自己的事业。

《新程序员》：小米有很多硬件产品。 硬件+云原生技术是否会被纳入小米集团下一步的发展计划？ 它打算做什么？

崔宝秋：“硬件+云原生”技术早已是小米集团的一部分。 众所周知，“手机×AIoT”是小米的核心战略。 无论是手机还是任何AIoT设备，都是智能硬件、智能设备。 智能设备的一大特点是互联，利用云计算、大数据和人工智能为用户提供各种智能服务。 因此，小米硬件和云原生技术一直是密不可分的，这也一直是小米技术发展的方向。

《新程序员》：人工智能和云原生未来会碰撞出什么样的火花？

崔宝秋：一方面，人工智能可以解决云原生领域的决策和优化问题。 例如，利用AIOps技术解决运维决策问题。 这背后是容器、微服务等一系列应用构建流程的标准化，会产生大量的结构化数据。 有了数据，就可以通过人工智能实现智能决策和自动化执行，提高系统效率和可靠性。 另一方面，云原生技术也可以让人工智能服务唾手可得。 通过将人工智能能力封装成基于云的服务，更多的软件可以利用丰富的人工智能服务能力，提升软件产品的用户体验。

云原生与开源互利协作

《新程序员》：您一直在推动开源的发展。 请用几句话简单概括一下您对开源的理解或态度？

崔宝秋：开放、共享、共建、未来、平台、模式、竞争力。

《新程序员》：面对日新月异的技术市场，您认为开源的核心竞争力是什么？

崔宝秋：互联网的力量，团体、社区的力量。

《新程序员》：能谈谈开源和云原生的关系吗？

崔宝秋：开源起源于早年的自由软件运动。 没有自由软件运动，就不会有 GNU，就不会有 GNU/Linux，也不会有今天的开源。 可以毫不夸张地说，没有自由软件和开源软件，就没有今天云计算、大数据和人工智能技术的快速成熟，也就没有今天人们谈论的云原生。 经过多年的发展，开源已经成为主流的软件开发协作模式。 在云原生技术领域，CNCF开源基金会对云原生的发展起到了巨大的推动作用。 相信未来开源模式将继续推动云原生技术的可持续发展。

《新程序员》：有人说开源是云原生环境的首选或者未来。 你怎么认为？ 是什么原因？

崔宝秋：我非常同意这个说法，因为我相信开源是软件的未来。 近年来，出现了许多采用开源模式的商业公司。 他们借助云环境和生态，迅速发展成为大型软件公司，并取得了商业上的成功。 那么自然会有更多的公司效仿这种模式，开源与云的结合是一种趋势。

这背后，开源软件厂商和云厂商积极拥抱彼此优势，促进彼此发展。 开源模式给云厂商带来了跨厂商标准化，消除了用户绑定到单一厂商的顾虑； 而云厂商的云原生环境也为开源软件带来了优秀的底层基础设施，让软件部署和发布变得更加容易。 更容易、更大。 我相信这种互利共赢的合作将会持续下去，并将给行业带来更大的变化。

《新程序员》：未来所有软件都会开源吗？ 您如何看待中国很多开源项目的不可持续性？

崔宝秋：我相信开源是软件的未来，但这并不意味着所有软件都会开源。 我认为具有通用性、具有一定普适价值的软件，尤其是那些具有长期价值、需要长期投资、涉及大量参与者的软件需要开源。 中国的很多开源项目是不可持续的。 第一个原因是这些项目开源的初衷是错误的。 很多项目都是为了开源而开源，为了KPI而开源。 不需要与社区长期共建，原作者也可能根本没有。 这方面的计划。 第二个原因更为常见。 就是项目的作者或者背后的公司没有长期投资的资源和决心。 第三个原因是很多人对于如何维护一个开源项目以及如何建立一个活跃的开源社区没有足够的经验。

《新程序员》：目前国内云原生开源社区的成熟度和参与度还不够。 您有什么话想对开发者、企业、开源社区说的吗？

崔宝秋：首先我是比较乐观的。 我认为我国的开源力量正在迅速崛起，开源运动在国内如火如荼地进行，我们云原生社区的成熟度和参与度也会越来越好。 其次，我给开发者、企业和开源社区的一些建议是：建议大家能够真正理解开源的精神、理念和方法论，真正做到开放、平等、共享、共建，真正形成合力。共同建设我们自己的。 一个人人的开源社区，会少一些为了开源而开源、为了KPI而开源、纯粹为了技术品牌或影响力而开源。

本文来自《新程序员·云原生与数字化综合实践》。 在《新程序员003》中，我们聚焦“云原生时代的开发者”和“全面数字化转型”两大主题。 阿里巴巴、字节跳动、网易、快手、亚马逊等各大互联网公司云原生技术赋能者，从技术定义、技术应用、实用性等方面全面解析云原生，硬核输出直击核心案例分享，帮助开发者在云原生时代快速找到适合自己开发的技术范式。

同时，我们还将报道微软、英特尔、华为、施耐德、西门子等第一批走上数字化转型的企业，并一睹金融、新零售、工业物联网等领域的风采。其他领域通过十多位技术专家分享的现场案例。 数字化转型的成果帮助更多关注数字化转型的开发者从先行者的经验中获得启发。