（原标题：大模子时间的存储创新：云厂商加快居品本事迭代）

21世纪经济报说念记者白杨 北京报说念

2024年，AI大模子的火热态势仍在握续，从旧年的单模态到本年的多模态，大模子本事不断进化。

与此同期，与大模子相干的本事也在不断迭代。

当今业界如故明确，决定大模子本事的除了算法、算力、数据等中枢身分，还有揣度、汇集、存储等基础措施本事。

以存储为例，大模子的研发分娩经由约莫可分为数据汇集与清洗、模子查考、推理三大法式，在每个法式，齐对存储本事有着极高的条目。

大模子需要更强的存储性能

领先在数据汇集与清洗法式，工程师需要从公开汇集上采集原始数据，并进行数据清洗，将重迭、乌有、无效的数据过滤掉。

由于数据开端各样且规模达到PB级别，该法式的存储系统需要支撑多种契约，并能提供超大读取带宽。

跟大数据场景肖似的是，AI大模子也需要使用灌入大齐的非结构化数据，当今业界趋势是使用spark揣度引擎（数据湖）。

在大数据场景下，为了进步总共这个词链路的效果，粗豪会将数据预处理算法作念并行化引申。然而，AI大模子的原始数据集真的太大，以往查考数据的清洗场景中数据量为 GB 级别（数十或者数百 GB），AI大模子的数据是TB和PB级别。

这对存储的读写性能，尤其是混沌条目很高。作念数据清洗，要把上T的数据读到揣度引擎中，这对存储带宽有很大压力。在传统的决策中，仅读取数据的时刻就要30多分钟。

而在AI大模子查科场景下，需要反复地将查考数据从对象存储COS拉取到文献存储中，再从文献存储读取到缓存顶用于模子查考与揣度，在这个过程中需要大齐的读取、写入或者创建删除等操作，条目超高的IOPS（每秒读写次数）。

另外，大模子查考集群粗豪为几百到数千台揣度节点，集群规模大，机器、行使等很是出现次数相对多。一朝出现该情况，如若模子莫得保存，十分于前功尽弃。

因此，为了减少揣度节点的物理损坏带来的亏空，大模子需要周期性地进行保存现时的阶段，也便是checkpoint（检查点），以便在机器宕掉的时候，不错快速规复。粗豪，2-4小时保存一次checkpoint，上千台机器并发，会带来百GB/s的读写混沌。这个阶段，智操盘也条目存储或者在高并发的情况下，具备快速读写数据的本事。

云厂商加快居品本事迭代

为了相宜大模子时间的存储需求，昔时一年，各个云厂商也在加快对自身的存储处置决策进行升级。4月8日，腾讯云交出了其最新升级的云存储处置决策。

据先容，腾讯云AIGC云存储处置决策由对象存储COS、高性能并行文献存储CFS Turbo、数据加快器GooseFS和数据万象CI等居品构成，是国内首个罢了有储引擎全面自研的云存储处置决策。

关于上文提到的一些场景，腾讯云也进行了针对性升级。比如面向大模子查科场景，腾讯云自主研发的并行文献存储CFS Turbo，每秒总读写混沌可达TiB/s级别，每秒元数据性能达百万OPS，这使得3TB checkpoint的写入时刻从10分钟镌汰至10秒内。

腾讯云存储总司理马文霜在禁受21世纪经济报说念采访时打了个譬如，“如若存储是仓库，揣度是加工场，数据是货品，把数据喂给大模子进行查考就像把货品从仓库运到加工场进行加工。”

而传统的散播式存储（NFS契约）像传统仓库，是单链路传输，这导致混沌存在性能瓶颈。腾讯云CFS Turbo则像先进仓库，是N条链路同期传输。

“咱们提供的并行探询，十分于把弘大仓库分了区域，并开了很多扇门，这就允许每个客户胜仗从仓库的各个区域胜仗取货。同期，除了仓库本人，还在仓库前有一派离客户更近的前置仓（缓存），挑升用于存放各个客户最近时时购买的东西，或者扬弃最近运载来存储的货品，这么如若客户要买致使齐不必进到仓库里拿或取，胜仗从前置仓即可赢得，镌汰时刻，这则至智能缓存”。马文霜暗示。

据马文霜先容，当今，如故有80%的头部大模子企业遴荐了腾讯云AIGC云存储处置决策，包括百川智能、智谱、元象等明星大模子企业。其中，CFS Turbo也被行使于自动驾驶与工业仿真场景。

在大模子时间。数据如故成为至关进军的分娩要素，其也为社会发展带来新动能。IDC发布的《数据时间2025》暴露，2018年我国数据圈（以数据圈代表每年被创建、采集或是复制的数据荟萃）为7.6ZB，展望到2025年将增至48.6ZB，成为群众最大的数据圈。2018年至2025年年均复合增长率将达到30.35%

而数据的快速增长也在鞭策数据存储需求大幅加多，是以接下来，将存储本事的快速迭代，以相宜市集需求，仍会是云厂商重心发力的一个办法。

• 间的
• 大摩
• 创新
• 存储
• 子时