
交换级
在交换机中构成交换网路的一个子集的交换装置。交换级的设计就是为了弥补自身记忆体空间的不足通过扩展SSD作为快取空间缓Hadoop集群中的数据。
中文名称 | 交换级 |
英文名称 | switching stage |
定 义 | 在交换机中构成交换网路的一个子集的交换装置。 |
套用学科 | 通信科技(一级学科),交换选路(二级学科) |
基本介绍
- 中文名:交换级
- 外文名:switching stage
- 定义:一个子集的交换装置。
- 套用学科:通信科技,交换选路。
定义
交换级SSD通过对Hadoop相关数据的快取来减少网路中数据交换量和重複的任务操作,有效的提高整个集群 的运行效率,起到对数据并行最佳化的作用。当然对于整个体系,无论是OpenFlow对整个网路的控制,还是Hadoop数据快取使得反应速度的提升与网路数据交换量的减少,每一项技术都实现都与国内外的相关研究密不可分的。

交换级及相关技术
交换级使用SSD扩展OpenFlow交换机存储空间,通过SSD读写数据块容量大的特点满足交换级的快取或者存储要求,利用OpenFlow技术的智慧型型技术来对网路中的数据进行要选择性的存储或者快取,达到缩减传输距离和减少计算量作用。与传统交换机扩展SSD作为快取空间不同,交换级能够智慧型的选取网路中所需数据,而传统交换机只能无差别的快取所有数据报,如果针对需要快取的数据进行修改将使得传统的交换机更加不堪重负。
交换级SSD的核心是OpenFlow技术,通过OpenFlow技术可以有效的选取网路中的特定数据进行快取同时可以控制交换机使快取数据在交换设备处进行转发,省去到各个服务的请求和计算操作。
OpenFlow技术
面对数据量的迅速增长,各种大型的集群和数据中心的建立,网路的规模也急剧膨胀,同时网路的结构和功能日趋複杂,管控能力日趋减弱,尤其对于Hadoop这类对于大数据进行处理的技术,需要在分散式集群中进行大量的数据交换和存储。
交换级设计
交换级SSD主要通过在交换节点快取方式对于Hadoop集群中数据并行操作进行最佳化。交换级SSD快取分别针
对MapReduce和HDFS进行最佳化,主要体现在几个方面:
(1)MapReduce依赖于HDFS必须存储才能计算,而Reduce阶段需要接收Map阶段产生大量的中间数据,将使得网路数据交换量急剧增加造成网路阻塞。
(2)HDFS针对小档案和实时性要求较高的请求上不具备优势,通过HDFS工作流程可知,每一读写操作,客户端必然会与Namenode互动,对于小档案来说互动的通信时间已经足以从Datanode将数据返回到客户端了,也正是因为要与Namenode间通信,造成了一定的延时,牺牲读取档案的实时性。
(3)交换级快取还有一点就是减轻了主节点的负担。Hadoop集群中MapReduce数据并行处理依赖于主节点的对各个从节点的任务分配与调度,同时HDFS的档案读写也需要主节点中元数据的支持,所以Hadoop的工作离不开与主节点的通信。
交换级的结构
交换级对Hadoop集群并行数据最佳化,主要通过交换级SSD在交换节点处对Hadoop集群中相关数据进行快取,通过减少MapReduce重複计算,减少集群间数据交换,解决小档案访问延时问题来提高数据并行效率。交换级在Hadoop集群中起到交换设备和分散式快取设备的作用。
为了协调与管理交换设备上的数据交换与数据快取,引入OpenFlow技术。OpenFlow交换机相比传统交换机有几个优势:
(1)在控制器的帮助下,OpenFlow交换机被传统的交换机更加容易的从网路数据报中提取出所需的数据信息。
(2)控制器可以在OpenFlow交换机运行的时候下达最新的命名,指示交换机进行最新的操作。
(3)OpenFlow的可以Hadoop集群讯息制定流表,更加有效的协调数据交换和数据快取。
