首页 > 快手运营 > 快手率先提出亿级别多模态短视频百科体系:快知(Kuaipedia)
2022
11-11

快手率先提出亿级别多模态短视频百科体系:快知(Kuaipedia)

  当前,越来越多的短视频用户不仅希望利用碎片化的时间来休闲娱乐,也开始希望能够在短视频平台中获取更多知识。2021 年,泛知识内容播放量同比增长 58.11%,平台全年有超过 3300 万场泛知识直播 [1]。为了更好地理解和组织泛知识视频,快手MMU联合哈尔滨工业大学等提出业界首 个多模态短视频百科——“(Kuaipedia)”:通过多模态和知识图谱技术从海量短视频中挖掘大规模高质量的知识视频,并将其结构化,形成体系化的短视频百科知识库,为用户提供更好的知识获取体验,同时激发创作者创造优质知识内容,构建良性的知识分享生态。

  团队从快手海量短视频中挖掘出亿级别知识类视频,并对其进行了结构化,构建了万级词条和知识点视频百科体系。“快知(Kuaipedia)”的提出有助于学界推动 AI 通过多模态信息理解世界知识,且在产业界落地有较大想象空间。

  百科全书(Encyclopedia),可以追溯到希腊和罗马,也是 17-18 世纪法国启蒙运动的一个杰出成果。知识百科通常是指概要介绍人类全部知识或某一特定领域或学科的工具书或纲要,在互联网急速发展的当下,网络百科成为知识新的载体,如维基百科、百度百科等。但这些百科通常以图文、表格为载体,比较难以表达一些需要生动演示的知识,比如教程(How-to)类知识。图一展示了使用图文讲述 “柴犬”-“怎么画” 这一知识的困境。而通过短视频,我们能够很好地对这些知识进行一个阐释和学习。

  图一:图文在 how-to 类知识上知识传递的困境,图文来自短视频的帧截图

  随着内容行业和媒体形态的不断迭代,短视频已经越来越成为知识传播者的主要媒介,尤其是在一些技能和特长类的知识传播,天然就有它的一些优势。而在当下,尽管有公开的网络百科中有视频的内容,但通常是偏简介形式(如秒懂百科),没有将短视频最 大程度的进行利用,因此短视频在知识百科中的表达能力被严重低估。比如当人们讲到 “柴犬”,人们除了“简介” 以外,还关注“怎么挑”、“怎么梳毛”、“怎么纠正护食” 等。因此我们认为将知识类的短视频结构化,构成结构化的短视频百科是一条理解世界知识、帮助人类以更高 效率传播知识的有效途径。

  参考国家标准 [2] ,我们将事实(What)、原理(Why)类知识归结为科普知识,技能(How)类归结为教程知识,在快手海量的视频中挖掘出高质的知识视频。此外,我们将短视频中抽取的知识主体以词条形式呈现(如柴犬),并抽取视频中讲解的该词条具体的知识点(如柴犬 - 挑选、柴犬 - 护食纠正等),最终构成了一个短视频的百科知识体系,如图二所示。

  1. “快知”的定义:我们开创性地定义了一个全新的多模态知识百科库,以词条、知识点、知识类短视频以及它们间的关系共同构成。这是业界首 个结构化的多模态短视频百科。

  2. 构建大规模短视频百科的方法:我们提出使用知识视频识别、词条知识点挖掘、多模态知识链接的组合来构建大规模的短视频百科。并开创性提出 “多模态知识链接” 任务,作为传统实体链接的一个外延和扩展。

  3. 富有潜力和想象空间的应用:在学术上,“快知”以崭新的知识点短视频化组织形式,能够突破目前机器仅靠图文知识图谱(KG)理解世界知识的上限,在 KG 的一些下游任务如实体链接、实体分类,或者 NLP、CV 等内容理解下游任务上,有非常大的潜力。在产业界,“快知”这样的形式能够助力短视频平台进行高 效地运营、组织内容,提升用户对知识的理解与消费效率。

  为了实现上述的短视频百科结构化,核心技术包括以下三个主要步骤,如图三所示。

  1. 知识视频识别:通过多模态视频预训练模型,理解并识别海量视频中知识类视频;

  2. 词条和知识点挖掘:通过多源知识库融合 “自顶向下” 构建词条体系,再通过对用户搜索 query 挖掘 “自底向上” 构建词条与知识点关系,形成词条知识点树;

  3. 多模态知识链接:创新性地扩展传统 “实体链接” 任务,提出通过多模态内容理解技术将视频链接到词条(如柴犬)的某一个知识点(如护食纠正)上的 “多模态知识链接” 任务。

  通过大量详实的人工评测,“快知”所挖掘的知识点与视频已具备较高的准确率和质量。

  首先,“快知(Kuaipedia)”这样的多模态短视频百科体系,在学术界对于推动 AI 理解世界知识的技术发展有极大的潜力。一方面,“快知”突破图文和表格的局限,通过更丰富的知识点和短视频来描述某一个实体或者概念,这种方式能够推动多模态知识图谱技术的发展。另一方面,这些知识点和短视频有助于 AI 更好地理解世界知识,尤其是一些图文难表述的 How-to 类知识,这种多模态知识能够增强 AI 对世界的理解,对 KG、NLP、CV 等领域的下游应用都很有帮助。我们在 CCKS 实体链指的任务上,证明 “快知” 多模态知识的简单引入就能有效提升 BERT 在实体链接和在实体分类上的性能。

  此外,“快知”在产业落地相当想象力,在短视频生态向 “泛知识” 拓展的过程中,现有的形式约束了其传播方式,“快知”通过结构化的内容,能提升平台的运营和分发效率,更好地满足用户的求知诉求。我们将该项技术首先在健康垂类进行了落地尝试,快手健康团队此前以病种为组织维度,纯人工挖掘了一批优质 PUGC 内容,但是存在疾病知识体系不完善、权 威性知识视频量级小等痛点,难以高 效率构建完整、大规模、结构化的疾病视频体系。利用 “快知” 的技术后,自动化地挖掘出了一批高质量、有快手特色的知识点和知识视频,丰富了疾病类内容,比纯人工构建提效几十倍。目前这批内容已经在快手 App 精选页上线:点击精选视频流中某个疾病类视频的「底部通栏」,唤起「快手健康」半屏页,用户可以消费该视频所属词条下的相关知识点和相关知识视频,如图四所示。

  除健康外,“快知”还覆盖了教育、美食、三农、亲子、法律、科技、金融等众多领域的知识内容,有着较大的应用潜力。

  面对泛知识类内容在短视频行业的发展前景,我们提出了 “快知(Kuaipedia)” 多模态短视频百科体系,从存量的海量短视频内容入手,通过多模态知识图谱构建技术挖掘出亿级别高质量的知识视频,并将知识内容结构化,构建业界首 个大规模体系化的短视频百科知识库,其在学术界和产业界有较大的潜力和想象空间。

  快手 MMU 知识图谱中心成员,“快知”项目负责人,本硕毕业于浙大和港科大,曾在阿里云 PAI 负责大规模 NLP 算法与框架,在 ACL、EMNLP、KDD、AIJ 等顶会顶刊中发表 10 余篇论文,多项国内和美国专利,详见知乎。2021 年加入快手。

  快手 MMU 知识图谱中心负责人,本硕博毕业于哈工大,中科大博士后。曾担任科大讯飞 AI 研究院副院长,获吴文俊人工智能科技进步奖一等奖。在 ACL、EMNLP、Coling、IJCAI、TASLP 等国际会议和期刊上发表学术论文多篇,申请(获得)国家发明专利四十余项。2021 年加入快手。

  教授 / 博士生导师,哈尔滨工业大学计算学部。先后主持国家重点研发计划项目课题、国家自然科学基金、中国博士后科学基金特别资助、中国博士后科学基金面上资助一等资助、黑龙江省面上基金等多项基金项目。获黑龙江省科学技术一等奖,哈尔滨市科技成果,第六届全国青年人工智能创新创业大会一等奖。近年来以第 一作者或通讯作者发表 CCFA/B 类论文 20 余篇,参编教材一部,英文译著一部。担任 NLPCC2020、CCKS2020、COLING2022 知识图谱领域主席,CCKS2019 出版主席、CCKS2021 评测主席、CCKS2022 讲习班主席。

  特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  腾讯云双十一活动来了,云服务器多种机型限时抢购,爆品提前购 同价11.11。专业技术7*24小时在线服务,腾讯云为企业和个人提供快捷,安全,稳定的云服务!

  快手体育与MLB美职棒大联盟达成版权合作,成为MLB2022季后赛官方直播及短视频平台并获赛事直播及短视频二创授权...快手体育已经与NBA、欧冠等全球重磅赛事达成了版权协议,于2021年10月成为NBA中国首个内容二创媒体合作伙伴,以及NBA官方短视频平台、NBA视频内容创作社区,于2022年2月与欧足联达成版权合作,成为2021/2022赛季UEFA欧冠联赛官方直播及短视频平台...

  昨日晚间,快手电商发布公告称,平台决定针对在短视频渠道进行不正当营销的情形进行专项治理...平台对于借公共事件营销、恶意炒作、抽奖不合规等不同行为也作出了不同程度的处理,具体如下:...

  一方面,平台的高清直播为棒球爱好者提供了便捷的观看渠道和沉浸式观赛体验;另一方面,快手在赛事期间将丰富的版权内容开放给更多创作者,平台创作者的二创作品又会进一步扩散赛事热点,富有趣味性的内容形式将提升大众对MLB赛事的关注度...快手体育也已经与NBA、欧冠等全球重磅赛事达成了版权协议,于2021年10月成为NBA中国首 个内容二创媒体合作伙伴,以及NBA官方短视频平台、NBA视频内容创作社区,于2022年2月与欧足联达成版权合作,成为2021/2022赛季UEFA欧冠联赛官方直播及短视频平台......

  截止到 10 月 8 日,共有 116 万名用户接力发布该魔表作品,而「为祖国祝福,我爱祖国」这一魔表则共计 276 万人使用;与此「国庆节」魔表共计 141 万人使用、「爱国头像」魔表共计 86 万人使用......

  昨日晚间,快手发布了对违规用户及内容的处罚通知第十期内容,累计清理违规短视频15.9W+条,累计处置违规直播间8.6W+条...快手表示,作为拥有海量注册用户数的全民生活记录与分享平台,快手深知社会责任重大,一直致力于为广大用户营造积极、健康、绿色、公平的内容生态环境,对涉及暴力色情、谣言、诈骗等违法有害内容零容忍...累计清理违规短视频159687条...累计处置违规直播间86277条...累计处置有效视频类举报205403条...

  主播常有,但辛吉飞不常有...辛吉飞的首场带货直播中,招来了快手主播辛巴,对方在直播间留言:“辛,也是你的姓氏么?”两位“辛”姓网红,在快手直播间里奇妙相遇...以辛巴的辛选为例,公开数据显示,辛选员工总数已超过4000人,其中选品品控团队就有1400多人...根据快手2021年财报显示,2021年全年快手电商交易总额(GMV)达6800亿元,辛选的同年GMV并未有准确信源,但坊间有一些没被确认的数据认为,2021年上半年,辛选的GMV可能超过250亿......

  今天,快手发布《快手小店知识产权维权投诉指引》修订公告,新增侵权投诉处理规则,明确权利人发起的维权投诉适用《实施细则(商户)》、《实施细则》、《实施细则》...2、通过线上投诉平台提交知识产权侵权投诉,需要注册专用于侵权投诉的投诉账号后,提交知识产权权利证明材料、相关举证材料进行投诉...4)声明真实性的书面保证:被投诉人应对《声明》中的陈述和所提供材料的真实性、有效性和合法性负责,保证承担因被投诉人的反馈而调整对下架商品/服务、删除内容或断开链接等处置措施给快手小店造成的全部损失及由此产生的全部法律责任......

  快手理想家于近日正式发起“快手房产小麦计划”,该计划主要面向快手理想家尚未覆盖城市中的房产创作者...“快手房产小麦计划”第一批试点地区为浙江、湖南、海南、福建、江西、安徽及贵州,粉丝数大于100且近30天在快手发过视频或开播的房产主播均可申请...具体来看,在此次“快手房产小麦计划”中,快手理想家将从工具、流量与运营三大层面发力...

  公告称, 为提升平台服务水平和商户经营质量,给用户创造良好的购物体验,平台现将原茗茶类 ,蜜饯果干类 ,罐头类 ,调味品类 ,饼干类 ,酒类 ,糕点类 ,饮料类 ,糖果制品类 ,乳制品类 ,肉制品类 ,炒货食品及坚果制品类 ,膨化食品类 ,方便食品类等 14 类商品抽检规范进行合并,合并后新增规则《快手小店预包装食品类商品抽检规范 》,规则补充了违规类型和违规情节,调整了产品的检验项目及要求...《快手小店糖果制品类商品抽检规范》...《快手小店膨化食品类商品抽检规范》...《快手小店方便食品类商品抽检规范》......

  中关村在线消息:据外媒报告,马斯克要求推特工程师着手开发短视频应用Vine的全新版本,争取在年底之前上线年推出的一款短视频软件,旨在让用户记录和分享6秒循环视频剪辑...

  支持。锐龙7 5800X3D上提供硬件虚拟化,大大提升了虚拟机性能。使用高级矢量扩展 (AVX) 的程序可以在此处理器上运行,从而提高计算量大的应用程序的性能。除了 AVX,AMD 还包括更新的 AVX2 标准,但不包括 AVX-512。

  防水性能一般华为 Pocket S防水级别是IP53级别。华为 Pocket S并非专业防水手机,在正常使用状态下可防溅、抗水、防尘,在受控实验室条件下经测试,其效果在 GB/T 4208-2017(国内)/ IEC 60529(海外)标准下达到 IP53 级别。 防溅、抗水、防尘功能并非永久有效,防护性能可能会因日常磨损而下降。请勿在潮湿状态下为手机充电。

  微电影、高像素模式、延时摄影等华为 Pocket S后置拍摄功能:微电影、高像素模式、延时摄影、超大广角、大光圈虚化、双景录像、超级夜景、超级微距、微距视频、微距画中画、人像模式、专业模式、慢动作、全景模式、黑白艺术、智能滤镜、水印、文档矫正、AI摄影大师、动态照片、熄屏快拍、4D预测追焦、笑脸抓拍、声控拍照、定时拍照、连拍、快拍;前置拍摄功能:慢动作、智能广角切换、人像模式、全景模式、延时摄影、动态照片、智能滤镜、水印、笑脸抓拍、自拍镜像、声控拍照、定时拍照。

  支持。锐龙R7-5800X3D是支持ECC内存的,这是任务关键型系统的一项重要功能,可避免数据损坏。在内存中ECC能够容许错误,并可以将错误更正,使系统得以持续正常的操作,不致因错误而中断,且ECC具有自动更正的能力,可以将Parity无法检查出来的错误位查出并将错误修正。一些厂商推出的入门级低端服务器使用的多是普通PC用的SDRAM,不带ECC功能,在选购时应该注意这个指标。

  没有华为 Pocket S后置镜头在视频拍摄的时候最大支持4K(3840x2160)视频录制,支持AIS防抖; 前置摄像头视频拍摄 最大支持4K(3840 x 2160)视频录制,支持AIS防抖;这款手机没有光学防抖功能,因此有一些运动状态拍摄视频或照片时稳定性不是非常出色,当然它定位的就不是拍照手机。

  锐龙R7 5800X3D是多少线线程的处理器。线程(英语:thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。在Unix System V及SunOS中也被称为轻量进程(lightweight processes),但轻量进程更多指内核线程(kernel thread),而把用户线程(user thread)称为线程。

  外屏卡片、外屏主题、自拍显示等华为 Pocket S的外屏可以用来显示卡片、主题以及在自拍的时候用来显示拍照画面等功能,此外还可以显示时间、未接电话等一些基本通信信息,可以说很多情况下不需要打开折叠屏就可以看到一些重要的通知短消息等。华为 Pocket S使用了一块1. 04 英寸OLED屏幕,分辨率340 x340 像素,最高支持60Hz刷新率,120Hz触控采样率。

  台积电。锐龙R7 5800X3D硅芯片不是在 AMD 制造的,而是在台积电的代工厂制造的。AMD 与 TSMC 开发的 3D 堆叠工艺的另一个主要优势是绑定了这个额外的缓存小芯片(在新标签中打开)处理核心和 L3 缓存使其占用空间足够小,以使所有这些都适合与 Ryzen 5800X 相同的封装。

  Zen3架构。AMD 锐龙R7-5800X3D 的底层 Zen3架构与八核16线X 相同,此外Ryzen75800X3D 的不同之处在于引入了 AMD 新的3D 堆叠缓存,称为3D V-Cache。这个额外的裸片与5800X 的底层核心复合裸片 (CCD) 结合在一起(尽管裸片本身已经被化学刮掉,以便为新的高速缓存裸片腾出空间)。

  有以下功能。AMD3D V-Cache是适用于服务器和桌面应用程序的创新3D 堆叠封装技术。为7nm x86-64CPU 实现 Hybrid-Bonded64MB 堆叠缓存,这是一种不同的处理器布局方式,并且由于 CPU 制造商在芯片上放置组件的方式取得了进步,AMD 能够在不制造大型 CPU 的情况下压缩更多缓存。AMD 仅在游戏领域构建了额外的缓存,AMD表示它可以提供平均15% 的改进。更多的 L3缓存允许处理器流式传输和存储更多指令,从而减少从 RAM 中提取指令所需的次数。自然,这并不能在所有情况下都提供性能优势。但是,在 CPU 处理多条指令的情况下,例如游戏,额外的 L3缓存应该会提供很大的提升。

  4000mAh华为 Pocket S电池容量是4000mAh,手机支持最大10V/4A华为超级快充,兼容10V/2.25A或4.5V/5A或5V/4.5A或9V/2A或5V/2A充电器,数据接口为USB Type-C,USB 2.0。考虑到这款手机是折叠屏,因此在内部电池上市两块电池的设计,比同尺寸的直板手机电池小一些,但已经可以满足一天的基本使用。

  后置双摄,4000 万像素超感知摄像头+1300 万像素超广角摄像头华为 Pocket S后置双摄镜头,分别是4000 万像素超感知摄像头(f/1. 8 光圈)+1300 万像素超广角摄像头(f/2. 2 光圈),前置1070 万像素超广角摄像头,f/2. 2 光圈。后置摄像头视频拍摄 最大支持4K(3840x2160)视频录制,支持AIS防抖; 前置摄像头视频拍摄 最大支持4K(3840 x 2160)视频录制,支持AIS防抖。


本文》有 0 条评论

留下一个回复