论文读后感-Neural Adaptive Video Streaming with Pensieve

文献读后感 netlab 180℃ 0评论

论文题目: Neural Adaptive Video Streaming with Pensieve

论文作者、单位: Hongzi Mao, Ravi Netravali, Mohammad Alizadeh,MIT Computer Science and Artificial Intelligence Laboratory

发表的会议或者期刊: Sigcomm

论文关键字: bitrate adaptation, video streaming, reinforcement learning

论文摘要原文: Client-side video players employ adaptive bitrate (ABR) algorithms to optimize user quality of experience (QoE). Despite the abundance of recently proposed schemes, state-of-the-art ABR algorithms suffer from a key limitation: they use fixed control rules based on simplified or inaccurate models of the deployment environment. As a result, existing schemes inevitably fail to achieve optimal performance across a broad set of network conditions and QoE objectives. We propose Pensieve, a system that generates ABR algorithms using reinforcement learning (RL). Pensieve trains a neural network model that selects bitrates for future video chunks based on observations collected by client video players. Pensieve does not rely on pre-programmed models or assumptions about the environment. Instead, it learns to make ABR decisions solely through observations of the resulting performance of past decisions. As a result, Pensieve automatically learns ABR algorithms that adapt to a wide range of environments and QoE metrics.We compare Pensieve to state-of-theart ABR algorithms using trace-driven and real world experiments spanning a wide variety of network conditions, QoE metrics, and video properties. In all considered scenarios, Pensieve outperforms the best state-of-the-art scheme, with improvements in average QoE of 12%–25%. Pensieve also generalizes well, outperforming existing schemes even on networks for which it was not explicitly trained.

论文摘要中文: 客户端视频播放器采用自适应比特率(ABR)算法来优化用户的体验质量(QoE)。尽管最近提出的方案很多,但最先进的ABR算法受到关键的限制:它们使用基于简化的或不准确的部署环境模型的固定控制规则。因此,现有的方案不可避免地在广泛的网络条件和QoE目标下不能实现最佳性能。我们提出Pensieve,一种使用强化学习(RL)生成ABR算法的系统。 Pensieve训练一个神经网络模型,根据客户端视频播放器收集的观察结果,为未来的视频块选择比特率。 Pensieve不依赖于预编程的模型或关于环境的假设。相反,它学会通过观察过去决策的结果来了解ABR决策。因此,Pensieve自动学习适应各种环境和QoE指标的ABR算法。我们将Pensieve与现有的ABR算法进行比较,使用跟踪驱动和现实世界实验,跨越各种网络条件,QoE指标,和视频属性。在所有考虑的情况下,Pensieve胜过最好的最先进的方案,平均QoE提高了12%-25%。 Pensieve也可以很好的推广,即使在没有明确训练的网络上也胜过现有的方案。

研究问题、关键问题: 在视频播放的过程中,现有的ABR算法使用启发式的、不精确的模型来决定视频块的码率,因此,在网络通量波动较大的情况下,会导致视频质量降低或者视频的卡顿,降低了用户体验。

研究动机、研究意义: 在如今的互联网中,视频流量已经占据了主导地位,因此不好的视频体验会导致用户大量流失,严重损害内容提供商的收入。一个好的自适应码率调节算法能够很好地解决这一问题。

研究内容(算法、方法、技术、模型): 为了解决ABR算法存在的问题,本文设计了一个普适性的学习算法,Pensieve。该算法利用增强学习,通过真实网络中的网络通量变化以及视频流的状态来学习码率适应策略,从而确定最佳的码率。算法模型:分为状态空间、行为空间、 反馈信号。状态空间包括past chunk throughput, past chunk download time, next chunk sizes, current buffer size, remaining chunks, past chunk bitrate等参数,行为空间表示确定后的视频块传输的码率,比如240P,360P,720P等,反馈信号表示使用这一码率所造成的后果。

研究结论、主要贡献: 1. Pensieve算法可以比现有的最好的算法提升12-25%,而且只比离线最优差距9-14%。

2. Pensieve算法有很强的普适性。不需要在真实网络里进行训练,即使全部用合成的网络进行训练,也可以有很好的性能,只比最好情况下降了5%。

创新点、创新性: 1. 使用机器学习的方法来解决网络中存在的问题。

2. 对实验结果进行了拆解分析,详细描述了算法的性能提升到底是哪一步引起的。

3. 对算法进行了普适性分析。

技术难点: 增强学习模型的设计。

对本人工作的启发: 1. 考虑借鉴其他学科的研究方法。

2. 做实验可以从多个角度来做,不要局限于一个思路。

进一步研究思路 (Future Work): 由于性能的限制,本文的学习算法都是在离线场景下学习的,因此如何进行低开销的在线学习可以作为下一步研究的重点。

 

CIRE论文读后感+张翼+20170905+Neural Adaptive Video Streaming with Pensieve

转载请注明:命名数据网络(NDN)中文社区 » 论文读后感-Neural Adaptive Video Streaming with Pensieve

喜欢 (1)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址