来自 操作系统 2020-04-22 14:14 的文章
当前位置: 澳门三合彩票 > 操作系统 > 正文

无服务器架构的应用有哪些,会认为如果有丢包

CDN属于边缘应用程序,后者则是CDN服务的一个超集。

姓名:李浩然

澳门三合彩票 1

我们正生活在一个超级连接的世界当中,所有的东西都可以被推至云端。将内容放在一个地方,站在管理层的角度这种想法可能是有用的,但是现在可以说是多余的。如今用户和数据已经变得无处不在。

学号:16030410020

引用声明:本文来自「又拍云主办的Open Talk——在线教育:技术让知识触手可及」的演讲内容整理。PPT、速记和现场演讲视频等参见“UPYUN Open Talk”官网。 嘉宾:王宇航,红点直播联合创始人CTO。毕业于中国科学技术大学,风云直播创始团队成员,曾参与逆向Adobe Flash非公开加密网络协议RTMFP,负责设计实现百万同时在线的大规模视频弹幕系统。2013年联合创立红点直播,现负责团队管理、产品研发及架构设计等相关工作。 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。如今的直播市场非常火爆,有很多直播云服务的提供商可供产品选择。同时视频直播产品喷涌而出,比如大家耳熟能详的映客、YY,还有最近特别火爆的一直播。基于TCP的协议延迟不够低众所周知,直播中通用CDN大部分提供的是RTMP的方案以及HLS的方案。HLS在手机H5里面的兼容性非常好,而RTMP是Adobe的协议,它在延迟、稳定性和分发质量方面平衡得很不错。但是当涉及会议场景时,基于TCP的协议就不能完全满足我们的要求了。假设在没有丢包的状态下,正常设定传输是一个流媒体,同样数据具有时效性,从而单位时间内产生的数据有一个固定的量。固定量的数据在TCP协议站上有什么问题?TCP协议设计的目标是为了最大化带宽的利用率。它在传输的过程中会衡量信道的宽度,认为其所要达到的效果应该是使用户尽可能的高效使用网络。丢包的状态下,协议栈做出非常严厉的惩罚,降低它认为信道的宽度,并认为用户已经最大化的利用了这个网络,会认为如果有丢包是用户发多了或者是网络出现了拥塞。通过发送数据的数量来减缓拥塞情况,最终让它再回归正常水平。比如丢下一个数据,TCP做了一次惩罚,使后面的数据只能向后推,这个时间就是延迟的起点。由此可以了解对丢包的处理是网络协议对延迟影响最大的一个因素。可能有的协议或者有一些网络对丢包不在乎,有一个包能够到达目标地点就足够了,但并不是所有的协议都能这样。RTPRTP协议涵盖所有实时相关的东西。可以支持实时数据端到端传输、载荷类型定义、为数据打上序号、时间校对以及分发监控等。它不能保证及时发送以及质量保证,比如让协议给用户发送一个数据,其不保证发送的时间以及数量。它也不保证送达,也没有时序,如发的顺序是12345,收到的顺序可以是54321。这个协议听上去几乎不能用,但是这样一个没支持太多东西的协议实际上也给我们一个空间,致使我们可以在此个基础上为它增加很多策略,如拥塞控制算法可以增加包括对于时序的处理和对于质量的处理。RTP头RTP协议的头,左上第一行是版本号,表示的是协议标准;第二行代表协议后面有没有追加空白,然后X表示这个头是不是有扩展,CC是一个数量,M和PT其中有8个比特,表示数据类型,可以自定义,其次是一个序号,一个时间戳;下面的SSRC是同步源的标识,它支持转发和混合器的结构,混合器结构的功能是把参与会议的多媒体混成一路,再转给其它的听众。RTP网络样例RTP组织网络的样例,共分为三个角色:一个是终端,可以理解为每一位参与者,参与者既可以说话,也可以听到其他与会者的内容;第二个是混合器,其最直观的体现在音频领域,可以将多人说的话混成一路,首先它的带宽减少了,同时时序自然对上,保持一致;第三个角色是一个转发器,即把以上流转出去。如下图所示,E1和E2经过第一路混合器,转出来即为SSRC值,它的值发生了改变。但是原来如E1:17,CSRC会体现在后面。通过这样的网络,能够组建一个支持会议场景的内容分发,尤其是流媒体的实时传输。RTCP为弥补RTP的不足,或者RTP没有保证的东西,我们设置了额外的协议即RTCP。RTCP共有5个类型数据包:发送方报告、接收方报告、源描述、结束通知、远程调用方法。在发送方报告中,发送者真正关心是数据发送量、丢失情况、数据到达时间以及网络过程中的抖动;接收方的报告主要反应发送方数据质量的信息,RTP里包含序号,可以体现多少序号断的、未收到。其中涉及到抖动和RTT的概念。抖动抖动指的发送方发两个数据即A和B,第一秒发A,第二秒发B。对于接收方来说,比如接收方第三秒收到A,但不一定第四秒能够收到B,可能第五秒才收到B。发送方隔1秒发送数据,但是接收方那边差2秒,这2秒和1秒称之为抖动。通过以上事例,可以看出时延具有不确定性。可以通过以下的公式对抖动进行平滑处理。RRTRRT(Round-Trip Time)描述的是一个数据包从发送方发送到接收者,接收者给出反馈,反馈再回到发送方,这时发送方识别到的时间差就是往返时间。其中计算用到的量包括DLSR和LSR。DLSR是距离上一个发送报告的时间。接收者可以使用DLSR,帮助发送者利用返回之后的报告算出来往返时间。RTT更像工程师日常使用网络中的ping。流媒体丢包处理方案流媒体丢包一般有3种处理方案:重传、前向纠错、交叉传输。重传第一个策略是重传,很明确地丢什么数据重新传什么数据,不会浪费资源。前向纠错所谓前向纠错,其实是数据冗余,是解决丢包问题的主要方案之一。可以分成两种类型:多媒体无关的前向纠错和多媒体相关的。本文将主要介绍多媒体无关的前向纠错,它更多会用在网络上,同时该技术在存储领域也有应用。在观看实时场景时,正常情况下若出现丢包,比如上述的重传,如果发送方想知道这个东西是否需要重传,需要依赖往返时间。重传非常依赖RTT值,RTT比较大,重传策略很难设计,因为不知道它是丢了,还是收到了但没有来得及反馈。同样的情况可以利用前向纠错的技术,很大程度上不依赖重传,尤其是在会议的状态下。因为它的延迟一般是在250毫秒的量级,该量级下,重传的效果并不会很理想。分层数据保护分层数据保护是前向纠错对于分层的方案。分层指的是数据包里面有不同重要程度的数据,对于不同程度的数据分段对它进行保护。FEC数据包前向纠错的数据包是基于RTP标准上设计的。前面是RTP包头,后面是前向纠错的数据包的格式。FEC算法FEC算法其中一个称之为异或。假如有4个数据,那么它们可以取4个异或值,其中每一个数据都可以由另外4个异或计算出来。还可以把ABCD和E想象成一个数据包,如果我们传输ABCD这四个数据包,第五个数据包传输的是E,这五个数据包可以丢失任何1个数据包。接收方收到数据之后,能够把它丢的数据恢复出来。前向纠错算法能处理的是连续数据里只丢1个包。同时丢失A和B,这个算法不能解决。因此这给予我们更多的操作空间。我们把将参数想成数据包,里面包含5个参数即5个数据包。左边设8个方程,8个方程可以解出来该5个数据包的值,通过8个方程可以解出右边的一个结果。在传输数据的时候,额外的几个方程组,即冗余的数据。也就是说原来的数据传的是12345这5个数据。然后又额外传了C,假如这8个数据里面任意丢了三个数据C1、C2和C3,程序可以利用其他内容额外把它们恢复出来,这个逻辑就是纠错过程冗余,以及冗余可以在任意位置恢复出来的原因。该算法的好处是可以连续的丢数据,比如网络传输的时候,传1到10这样数据,这个时候我们使用冗余度是5,10个数据有5个是冗余的,既50%的冗余度。这5个数据当中我们任意丢失5个数据,接收方认为这个数据包是完成的,没有丢任何数据,不需要重传,也不需要多媒体相关的纠错法。网络传输过程当中,每次发出去的数据不需要等待重传的延迟,可以把冗余数据发送出去。对于接方来讲,在带宽可以接受的情况下,延迟仍然是最低的。交叉传输最后一个策略是交叉传输,我们日常看到多媒体可能是按照时序的,一个多媒体片断是由1到10组成。如果此过程当中有丢包,比如3456连续丢失,那么此次丢包的影响可能表现在视频播放出现停顿。若丢的是关键帧那么影响非常大,会导致后面一大片的花屏。因此当连续丢包对流媒体伤害特别大的情况下,可以采用交叉传输策略。1到10,原来是3个3个传,如123、456、789各传一次,那么现在可以改变传输策略,采用147、 280和369的传输策略,这样一组数据丢掉,实际丢失在流媒体中间穿插的数据,播放程序可以在几乎不失真的状态下把视频恢复出来。数据包拥塞控制协议(DCCP)上述提到的RTP协议不仅可以基于UDP协议,也可以基于TCP协议。只是大部分利用RTP协议的场景实际上是基于UDP协议的。DCCP是一个拥塞控制的策略,里面包含4项内容:首先是建立会话,像TCP的握手;第二是数据窗口,可能很多时候要处理一个数据序号的顺序和整合一些数据碎片;第三是反馈,ACK就是关于数据到达反馈;最后是拥塞控制。其中数据窗口、反馈还有拥塞控制是影响传输质量的关键。数据窗口跟数据的时效性关系很大,使用TCP协议时大部分数据长度跟时间关系不是那么强。但是会议场景对时效性要求较高。数据窗口里面时间很难超过1秒,1秒以后的数据其实就已经不再有任何用处了。在Ack里面,一般会有两个策略:一种是直接告诉发送方未收到的数据;另一种是有选择性的直接告知发送方收到的数据片断所处的碎片状态,让发送方根据自己的情况,有选择地重发一些数据,避免一些不必要的负担。众所周知,关于TCP协议相关内容有很严格的拥塞控制措施,使用最大的带宽下TCP传输超延迟内容不是很友好。DCCP则为我们提供一个方案,让我们自己控制拥塞控制,传输延迟和数据质量,对此我们可以有一个很强的掌控力。

这种发展趋势正使得客户的期望值不断飙升。人们对高质量服务的期望值越来越高,与此同时客户的耐心也正变得越来越低。过去,人们可以耐心地等待10个小时来下载内容,但是现在这显然是不可能的事情。如今虽然我们都有着很高的期望值并且对性能也有着很高的要求,然而在另一方面顾虑也是存在的。互联网是一个很神奇的地方,它们有着不可预测的非对称模式、缓冲膨胀以及一系列与性能相关的问题。

转自:

此外,互联网正在以越来越快的速度不断增长。到2020年,在互联网上每人每天的流量预计将达到1.5GB。未来,由物联网生成的数据将远远超过这一数据量。例如,实现连网的飞机每天可产生大约5TB的数据。这种呈螺旋式增长的数据量需要一种新的数据管理方法,迫使我们重新思考交付应用程序的方式。

【嵌牛导读】:无服务器是这几年新提出的一种概念,作者在本文介绍了一下无服务器架构是如何在CDN Edge中进行应用的,如果你对无服务器架构有兴趣,那就赶紧阅读本文吧!以下为译文

为什么呢?因为所有这些信息都无法由单个云或内部数据中心处理。延迟始终是个问题。例如,在虚拟现实中,延迟超过7毫秒就会引起晕动病。当需要实时做出决策时,我们会面临无法将数据发送到云端的问题。不过不要紧,我们可以使用边缘计算和多CDN设计来解决这一问题。

【嵌牛鼻子】:无服务器架构、去中心化、云区域、无状态计算、脏数据、SRDT

引入边缘计算和多CDN设计

【嵌牛提问】:无服务器架构的应用有哪些?去中心化有什么好处?基于SRDT的解决方案有什么?

云部署、全物视频、物联网和边缘计算正在为CDN和多CDN设计带来契机。通常,多CDN为一种包含了多个CDN提供商的实现模式。利用不同的计量指标可实现流量定向,从而实现流量负载在不同提供商之间平衡或进行失效备援。

【嵌牛正文】:无服务器架构(Serverless)是一种新兴的基础设施即服务(IaaS)解决方案,以后的互联网可能会随处可见。2014年AmazonLambda掀起了无服务器架构的浪潮,几年之后,无服务器架构已经扩展到CDN-Edge,现在也跨越了最后一道鸿沟,渗入到了移动,物联网和存储几大领域。

边缘计算将操作尽可能地移动到了源头。这是物理世界与数字世界互动的关键所在。从逻辑上讲,边缘计算的去中心化方法不会替代集中化方法。它们之间的关系是相互补充的关系,应用程序可以根据它们在网络中的位置以最佳方式运行。

创业并出售了一个 NoSQL 公司的这段经历让我意识到目前的计算还仅限于数据中心或设备:这两者之间存在着一片很大的空白区。因此,我与几位小伙伴们开始了合作,创立了Kuhirō公司:一家致力于逐渐将云端推向互联网边缘,逐步创建靠近终端用户的分散式云(也就是NearCloud)的公司。

例如,在物联网中,节省电池寿命至关重要。假设一个物联网设备以10ms往返时延处理事务,而不是100ms RTT,那么它们的电池寿命便可延长10倍。

NearCloud 的基础是计算和数据,于是便从构建一个有状态的SAE系统开始,该系统将成为后续产品(例如ML推理,实时分析等)的基础模型。在 CDN Edge将客户业务逻辑作为读取和写入实时客户数据的函数进行运行。我们致力于建立一个基于CRDT的数据层。Kuhirō使客户能够将其应用程序的动态延迟敏感部分从云端移动到边缘,从而变成全局性的实时应用。

互联网是性能瓶颈

无服务器架构在Edge框架中的应用

互联网的设计原则是每个人都可以与其他任何人进行对话,因此它们提供的是通用连接,无论是否需要。虽然网络地址转换会带来一些设计变化,但是无论在哪里,互联网的角色在连接方面基本保持不变。

就物理方面而言,SAE系统和内容传输网络(CDNs)非常相似:将那些称之为“入网点”(PoPs)的小型数据中心放置于全国(或全球)战略位置,从而尽可能减少延迟带给用户的干扰。SAE客户将url中的域名转换为SAE供应商的域名,这样用户的web请求就会发送到附近的SAE PoP。

使用这种类型的连接模型,距离是应用程序性能的重要决定因素。无论缓冲区有多大或怎么优化设备性能,地球另一侧的用户都会受到影响。由于数据包在实际数据传输之前会来回传递,因此需要经历较长的RTT。尽管采取了缓存和流量重新定向技术,但是到目前为止取得的成功只是有限的。

仅在美国,SAE系统就可以扩展到澳门三合彩票,30 万个基站,99% 的人口距离他们附近的基站只有几公里。

应用程序交付原则

澳门三合彩票 2

传输控制协议的启用时间可以追溯到20世纪70年代后期。背景是假设所有服务都在局域网上并且没有丢包现象。在它们被设计时,还没有出现实时流量,例如对延迟和抖动非常敏感的语音和视频。

去中心化的好处

TCP的设计初衷是为了易用性和可靠性,而不是为了提高性能。用户实际上需要优化TCP堆栈。这就是CDN非常擅长执行此类任务的原因。例如,如果收到了一个来自移动电话的连接,那么CDN在一开始就会假设存在高抖动和丢包的情况。这使得它们能够正确地调整TCP窗口大小,以准确地匹配网络条件。

一般来说,去中心化会给带宽、延迟和健壮性带来很多优势。为了说明这些优势,让我们先看一个去中心化系统的示例:Amazon的仓储中心。正是由于这些巨大的建筑,所以Amazo基本上可以在两天之内将货物交付到用户手中:因为只需要将货物从分散的物理地点直接运过来就可以了。

那么我们应当如何提升它们的性能,选择哪些选项设置呢?在一般情况下,许多人都希望能够降低延迟。但是对于视频流等应用程序,我们无法知道延迟是否是视频缓冲造成的。人们只能假设较少的缓冲可以缓解延迟现象。在这种情况下,基于吞吐量的测量远比更高的性能指标要合理,因为它们能够告诉我们对象的加载速度。

去中心化的好处:

我们还要考虑页面加载时间。在网络层中,人们开发出了首字节时间和ping。但是由于所有东西都被打在一个数据包里,因此这些机制并没有多好的用户体验。ping也不会显示带宽问题。

延迟:Amazon Prime旨在实现货物必须在两天内送达:延迟确定了成败。

如果一旦数据包丢包率超过5%,并且用户正在测算TTFB那么网页速度将会下降25%。TTFB与堆栈上一层的互联网控制消息协议请求相当。如果有什么东西坏了,反而好处理,如果出现了影响性能的问题就不那么好办了。

带宽:仓储中心越多,每个仓储中心需要处理的货品就越少,Prime 会员规模就可以更好地伸缩。

在检查TTFB测算记录时,用户会发现它们之所以被部署的原因是当时缺乏真实用户监控。以前,TTFB在估算某物的加载速度方面的表现还是不错的,但是有了RUM之后我们就不再需要估算了。RUM是来自最终用户的测量值。提供给实际用户的网页所生成的指标可以作为范例。

健壮性:如果硅谷的仓储中心被地震摧毁了,订单可以让其他中心(斯托克顿,特蕾西,Patterson)接管。

总的来看,TTFB、ping和页面加载时间并不是非常精准的测算方式。我们应该尽可能地选择使用RUM,因为它们可以提供更为准确的用户体验。这是在过去十年中最为重要的事情。

SAE系统功能就和Amazon的这种方式非常相似:

本文由澳门三合彩票发布于操作系统,转载请注明出处:无服务器架构的应用有哪些,会认为如果有丢包

关键词: