快手联合英特尔傲腾你的短视频将刷不停

　　短视频APP快手到底有多“火”？恐怕你很难准确的描述出来。数据显示，目前快手已经达到2亿日活、日均千万级的短视频上传量，而这些数字分秒间都在不停增长着。看起来，快手似乎已经可以“坐拥江山，笑看群雄”了。

　　实际上，短视频市场这块“蛋糕”分外诱人，市场竞争更是激烈残酷。行业分析认为，2019年短视频持续保持高增长态势，独立用户数已达6.4亿。其中65%的用户安装2个及以上的短视频APP。短视频网民使用率达78%，网民渗透率高，已成为互联网时长红利的主要增长入口。2019年短视频市场规模将远超200亿元。

　　面对市场和友商带来的前所未有的竞争压力，快手只有不断完善功能和界面，优化用户体验。而不管是大刀阔斧的改进应用还是转为细枝末节的调整，都离不开IT基础设施层面的支撑。

　　对此，快手系统运营部工程师介绍：“公司发展非常快，系统规模也越来越大，我们的服务器规模已达到10万+，在国内排名第六，数据量达到EB级。这样庞大的系统有比较多的挑战：一个是性能、一个是成本、一个是硬件。我们希望这三个方面可以形成一个平衡点。”

　　如何在承载高峰期每秒数十万并发调用量的同时，从上百亿级别的短视频库中，通过千亿参数级别的深度模型将内容展现给用户？快手设计了基于异构设备的先进推荐系统，力求在日益增长的用户量冲击下，并基于推荐系统高可用的基础上，实时、高效、精准地向用户推荐优质内容。

　　如何保障用户在使用评论系统和发布弹幕内容时的顺畅感，增强浏览过程的互动性？快手将频繁读写、对延迟要求较高的场景，以及敏感的业务都放在自己打造的基于内存的快速数据库Redis上。

　　这两方面的应用，对内存都提出了新的要求。正因为如此，快手选择率先采用英特尔傲腾数据中心级持久内存。快手系统工程师通过在Benchmark层面的测试，研究傲腾与传统DRAM之间的性能以及延时的差异，并对标Redis业务和推荐系统的应用场景。他们发现：

　　傲腾持久内存有两方面优势。一个是非易失性，在服务器掉线、出故障时可以达到分钟级的系统恢复，传统需要小时级，它让速度提升了百倍，对运维来说有着非常大帮助；第二体现在成本方面，在TCO方面相对应有大概30%的收益。而随着傲腾持久内存的使用量越来越大，这个收益会越来越高。

　　快手推荐系统架构工程师介绍：“从推荐系统来看傲腾持久内存，我觉得是很优秀的。我们做了很多努力去提升推荐系统的准确性尝试，包括新的模型算法、新的体系架构。傲腾持久内存可以直接从硬件层面上解决大数据量实时在线模型训练的问题。所以说有了这款产品，我们会一直往单机大数据、大计算量上去发展，奠定了我们的方向。”

　　2017年初，快手的用户量进入大规模增长阶段。其业务、系统和硬件方面也随之进入大规模扩容阶段。这时候，快手与英特尔的合作逐渐加深。从硬件到软件，英特尔为快手提供了很多解决方案，包括广泛应用的CPU和SSD存储；性能分析软件和大数据加速软件，这些对快手的三大系统，推荐、画面转码、大数据存储从质量和效率层面都带来很大的提升。

　　据英特尔介绍，快手不仅在使用傲腾技术方面做了深入参与，双方正在联合开发FPGA，用以在深度学习方面为推荐系统加速。同时，在KV存储方面，双方也在研究如何为计算性能和压缩加速。

　　在软件层面，英特尔使用Parallel Studio开发套件为快手进行软件优化。未来，通过OpenVINO和ISAL双方还将在深度学习和大数据底层读写性能加速方面进行深入合作。

　　快手系统部资深系统工程师介绍：“因为我们节省了一定成本，所以就可以让系统有更好的能力。比如说Redis这一块可以让它与数据库的性能提升一些，将其轻松拓展到TB级。我们还可以买更多的硬件。在相同的费用下，能采购更多的设备。TCO往下降，我们就可以有更多钱去给用户提供更好的算力。”

　　正如英特尔所言，“我们不仅做硬件，更是以数据为中心，以数据为导向的公司，我们不仅给用户提供硬件产品，还为用户提供一整套加速的数据中心解决方案”。

作者：admin

抖音快手 站点 QQ交谈