B站(哔哩哔哩)作为中国领先的视频分享平台,以其独特的社区文化和多元化的内容吸引了大量年轻用户,以下将详细解析B站的业务概况、架构升级、以及未来展望:
业务概况
1、视频剪辑:在视频剪辑场景中,B站需要对视频内容进行多维度的提取和筛选过滤,包括高光片段、画面美学评分、弹幕信息等,这一过程分为离线链路和在线链路两部分,涉及复杂的计算工程,面临多业务诉求和资源接入割裂的挑战。
2、多模态训练:多模态训练场景中的主要工作包括预处理、多模态特征抽取和模型训练,当前采用绑定Spark的方式,通过RDD串联链路结合Hive读写,但存在小文件问题和GPU计算效率低下的问题。
3、多媒体业务:多媒体业务具有任务量庞大、异构资源诉求和实时性需求差异化的特点,当前围绕K8s的Pod调度计算方式存在高时延、低吞吐的情况,严重影响业务处理速度。
架构升级
1、资源管理:针对孤岛资源问题,采取基于K8s资源合池的措施,并引入细粒度资源弹性的配额调度,以优化资源管理。
2、大数据引擎:面对Python生态薄弱和粗粒度计算原语的挑战,探索更高效的计算范式,如DAG架构的动态变化支持。
3、AI全链路计算:涵盖数据处理、炼丹环节和在线服务化环节,涉及多种工具和框架,如TensorFlow、PyTorch、Triton等。
4、技术底座:构建强大的技术底座,包括资源(C/GPU)、存储(灵活、多时效)和计算(Python/异构/性能效率)。
未来展望
1、场景扩展:基于Ray的分布式计算框架,B站将进一步拓展应用场景,如视频剪辑、多模态训练和多媒体业务。
2、底层能力提升:通过增强Ray的能力和技术优化,解决工程师们面临的技术瓶颈,推动业务架构的升级。
3、平台化建设:从场景扩展、底层能力提升和平台化等维度勾勒出基于Ray的业务发展蓝图,为B站带来深远影响。
B站通过不断的技术创新和架构升级,不仅提升了自身的业务能力,也为行业树立了新的标杆,B站将继续探索更多可能,为用户带来更加丰富和高质量的内容体验。