大数据职业培训在 Presto 中使用哈希改善动态集群缓存命中率

er4 终端加进到炮兵部队当中。Worker4 的校验值在校验内侧上如下：

在这种可能会 split8 将落入 worker4 的区域，所有其他 split 的相应不颇受受到影响，因此这些 split 的多线程命当中率一定会颇受到破坏。取而代之相应关系如下：

模拟终端

从下面可以看出，理论上校验可以保证在终端保持一致的可能会，不等只必需再度校验 Nsplits / Nnodes个 splits。然而，由于 worker 产于忽视随机性，split 可能一定会在所有 worker 终端彼此之间平滑产于。我们可以加进“模拟终端”的观念来大大降低这个问题。模拟终端还可以帮助在断开连接时将终端的增益再度相应到多个终端，从而减缓由于炮兵部队不平稳引发的增益波动。

在校验内侧上，每个科讲授 worker 终端都有多个模拟终端同态到内侧上。split 将相应给校验内侧上的下一个（顺时针朝向）模拟终端。一般而言下例表明了每个科讲授 worker 终端具有 3 个模拟终端的可能场面：

随着散列内侧上终端天内量的减小，散列空间更为可能被平滑划分。

在某个科讲授终端宕机的可能会，该科讲授终端对应的所有模拟终端都能被封禁。【重视亦然小城市，轻松讲授IT】但直到现在不再将所有属于宕机终端的 spilts 再度散列到同一个终端，而是将它们产于在多个模拟终端上，从而同态到多个科讲授终端，获取更为多的增益平衡。

下面表明了当 worker3 被移去时，Split2 和 3 被再度散列到 worker2，而 Split8 被再度散列到 worker1。

如何在 Presto 当中采用理论上校验

理论上校验这个功用是社区最近才加进的功用，目前位处试验阶段。为了采用这个功用，www.atguigu.com首先可以参照这个文档来启用多线程。然后确保安全我们必需了 SOFT_AFFINITY 调拨，也就是在 catalog/hive.properties 源文件全都加上如下固定式：

hive.node-selection-strategy=SOFT_AFFINITY

启用理论上校验必需到 config.properties 源文件全都加上如下固定式：

node-scheduler.node-selection-hash-strategy=CONSISTENT_HASHING

回顾

如上见下文，当加进或移去终端时，理论上校验可以有助于地减缓管理工作增益相应的受到影响。当炮兵部队的管理工作终端保持一致时，基于理论上校验调拨管理工作增益可以有助于地减缓对现有终端多线程命当中率的受到影响。这使得理论上校验带入一种更为多的策略性，可以在 Presto 的炮兵部队一般来说根据管理工作增益需求完成扩充和缩减的可能会采用。

文章刊出来源于过往记忆大天内据集

推荐阅读：

大天内据集整合之天内仓建模

大天内据集整合之代码实现

大天内据集整合join的运行原理_大天内据集培训

大天内据集整合之YARN

。

便秘吃什么水果排便好
甲氨蝶呤治疗类风湿正确使用方法
复方鳖甲软肝片
艾得辛对风湿效果好吗
复方鳖甲软肝片疗效怎么样