19962171882腾讯云发布流湖引擎Setats，打造流、批、增量计算一体的数智开发平台
2025-04-28 18:19:32
在4月25日上海举办的DA数智大会上,腾讯云正式发布面向流批增量一体的流湖引擎 Setats。该产品通过一套架构同时支持流式计算、批量计算、增量计算,大幅降低系统成本,并支持数据端到端秒极可见及实时Changelog生成,致力于打破传统大数据架构的壁垒,助力企业在AI时代更高效地挖掘数据价值。
图:腾讯云WeData 研发负责人史汉发在2025 DA数智大会上发布 Setats
传统大数据架构越来越难以满足当下的海量数据处理以及AI场景需求。以传统Lambda架构为例,长期面临多套存储系统并存、实时与离线计算割裂的难题。
批处理与流处理各有优劣:批处理架构简单且资源利用率高,但存在小时级延迟;流处理虽能实现秒级响应,却面临状态管理复杂、资源占用高、延迟数据处理困难及数据冗余等挑战。两类架构在需动态调整处理延迟或执行历史数据回填时,均存在显著局限性。
Setats引擎底层自研行列混存与冷热分层技术,并实现高性能实时数据合并。通过这种创新的存储设计,Setats 实现了数据湖、实时日志与流计算中间状态统一存储,支持秒级数据可见性、高效主键检索及完整Changelog生成。
这一技术突破不仅消除了数据冗余,更让企业能在同一份数据上无缝切换流、批、增量计算模式,端到端延迟降至秒级,解决了同时实现秒级延迟与完整增量日志的行业痛点。
针对复杂实时场景,Setats 内置状态存储与湖仓统一的设计,彻底解决流计算中状态本地存储容量受限、数据回填困难等痛点,任务启动效率提升50%。同时,引擎深度兼容Flink生态,支持SQL标准化操作,企业无需重构代码即可平滑迁移,大幅降低技术门槛。
在出行领域,某头部车企借助 Setats引擎重构车联网数据分析体系。面对日均数百TB的车机传感器数据,传统架构因流批分离导致故障告警延迟高、存储冗余达40%。接入 Setats后,车况监控响应速度提升30%,存储与计算资源成本下降33%,数据治理效率显著提高,支撑业务规模快速扩张。
在大会上,腾讯云还宣布其面向Data+AI领域的数智开发平台WeData升级,Setats作为WeData的核心组件,将与多模态元数据目录、Serverless资源调度等技术深度协同,构建起覆盖数据治理、AI开发、资源管理的全栈能力。
企业可在WeData一体化环境中完成从数据分析、机器学习到LLM应用开发的完整链路,打破“数据墙”与“算力墙”,让数据价值释放效率提升数倍。
目前,腾讯云WeData 已服务零售、金融、制造等多个行业客户,推动超过200家企业实现数据架构升级和数据的高效治理。
未来,随着 Setats的持续迭代,腾讯云大数据将以更智能、更融合的技术生态,为企业铺设通往AI时代的高速公路,让数据真正成为驱动增长的新引擎。
（来源：点财网）