建议使用以下浏览器,以获得最佳体验。 IE 10.0+以上版本 Chrome 31+谷歌浏览器 Firefox 30+ 火狐浏览器

大数据型

更新时间:2020-09-08 11:40:15

本章节介绍云服务器ECS大数据型实例规格族的特点,并列出了具体的实例规格。


大数据型实例规格族介绍


大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题,适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景,充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和内网带宽等方面要求。

大数据型实例规格族适合有大数据计算与存储分析需求的行业客户,例如互联网行业、金融行业等。同时,结合以Hadoop为代表的分布式计算业务的高可用架构,大数据型实例采用本地存储的设计,保证海量存储空间、高存储性能。


大数据实例具有以下特点:


基于企业级架构提供稳定计算能力,为高效处理计算作业提供保障。

网络性能更高(包括单实例最大内网带宽和最大小包转发率),满足业务高峰期实例间的数据交互需求,例如MapReduce计算框架下的Shuffle过程。

单磁盘顺序读写性能达190 MB/s(首次创建实例时,磁盘需要预热才能达到最高性能),单实例存储吞吐能力最大5 GB/s,缩短HDFS文件读取和写入时间。

本地存储价格比SSD云盘降低97%,大大降低Hadoop集群建设成本。


使用大数据实例时请注意:


不支持变配和宕机迁移。

本地盘与特定规格的实例相绑定,本地盘的数量和容量由您选择的实例规格决定。不支持单独购买本地盘,不支持将本地盘卸载并挂载到另一台实例上使用。

本地盘不支持快照功能。如果您需要为本地盘实例创建包含系统盘和数据盘的镜像,建议通过组合系统盘快照和数据盘(仅限云盘)快照的方式来创建。

不支持基于实例ID创建包含系统盘和数据盘的镜像。

支持挂载SSD云盘,挂载的云盘支持扩容。

本地盘来自单台物理机,数据可靠性取决于物理机的可靠性,存在单点故障风险。

大数据实例文件系统挂载最佳实践

使用ext4等文件系统,首次执行mount操作时需要初始化inode table。在Linux的2.6.37及更高的内核版本中,默认启用了lazyinit特性,导致inode table初始化会延迟到mount后,且本地盘在初始化时会占用较大吞吐量(例如30个本地盘的吞吐量可能高达600MB/s),影响业务稳定性。4.x版本内核中增加了lazyinit并发度,可以缓解该问题。ECS推荐以下最佳实践,使您在相对较快的时间内完成初始化:

获取所有SATA HDD本地盘列表。

运行以下命令,为每个本地盘开启独立的后台初始化。

本示例中,在设备名为/dev/vdb的本地盘上创建ext4文件系统。

mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &

等待所有本地盘完成初始化,并运行iostat -x 5,直至所有本地盘的I/O活动显示为0。

批量执行mount操作。


大数据存储密集型实例规格族d2s


d2s的特点如下:

I/O优化实例

支持ESSD云盘、SSD云盘和高效云盘

实例配备大容量、高吞吐SATA HDD本地盘,辅以最大35 Gbit/s实例间网络带宽

支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机

如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例系统事件概述。

如果物理机中有可用备盘,阿里云使用备盘在线更换坏盘。

如果物理机中无可用备盘,等待人工更换磁盘硬件,然后阿里云完成更换坏盘。

注意 确认发起坏盘修复流程后,坏盘中的数据不可恢复。

处理器:2.5 GHz主频的Intel ® Xeon ® Platinum 8163(Skylake)

实例网络性能与计算规格对应(规格越高网络性能越强)


适用场景:


Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

Spark内存计算、MLlib等机器学习场景

ElasticSearch、Kafka等搜索和日志数据处理场景


大数据网络增强型实例规格族d1ne


d1ne的特点如下:

I/O优化实例

仅支持SSD云盘和高效云盘

实例配备大容量、高吞吐SATA HDD本地盘,辅以最大35 Gbit/s实例间网络带宽

处理器与内存配比为1:4,为大数据场景设计

处理器:2.5 GHz主频的Intel ® Xeon ® E5-2682 v4(Broadwell)

实例网络性能与计算规格对应(规格越高网络性能越强)


适用场景:


Hadoop MapReduce、HDFS、Hive、HBase等

Spark内存计算、MLlib等

ElasticSearch、日志等


大数据型实例规格族d1


d1的特点如下:

I/O优化实例

仅支持SSD云盘和高效云盘

实例配备大容量、高吞吐SATA HDD本地盘,辅以最大17 Gbit/s实例间网络带宽

处理器与内存配比为1:4,为大数据场景设计

处理器:2.5 GHz主频的Intel ® Xeon ® E5-2682 v4(Broadwell)

实例网络性能与计算规格对应(规格越高网络性能越强)


适用场景:

Hadoop MapReduce、HDFS、Hive、HBase等

Spark内存计算、MLlib等

互联网行业、金融行业等有大数据计算与存储分析需求的行业客户,进行海量数据存储和计算的业务场景

ElasticSearch、日志等