大数据职业培训在 Presto 中使用哈希改善动态集群缓存命中率
时间:2023-04-05 12:17:36
在这种可能会 split8 将落入 worker4 的区域,所有其他 split 的相应不颇受受到影响,因此这些 split 的多线程命当中率一定会颇受到破坏。取而代之相应关系如下:
模拟终端
从下面可以看出,理论上校验可以保证在终端保持一致的可能会,不等只必需再度校验 Nsplits / Nnodes个 splits。然而,由于 worker 产于忽视随机性,split 可能一定会在所有 worker 终端彼此之间平滑产于。我们可以加进“模拟终端”的观念来大大降低这个问题。模拟终端还可以帮助在断开连接时将终端的增益再度相应到多个终端,从而减缓由于炮兵部队不平稳引发的增益波动。
在校验内侧上,每个科讲授 worker 终端都有多个模拟终端同态到内侧上。split 将相应给校验内侧上的下一个(顺时针朝向)模拟终端。一般而言下例表明了每个科讲授 worker 终端具有 3 个模拟终端的可能场面:
随着散列内侧上终端天内量的减小,散列空间更为可能被平滑划分。
在某个科讲授终端宕机的可能会,该科讲授终端对应的所有模拟终端都能被封禁。【重视亦然小城市,轻松讲授IT】但直到现在不再将所有属于宕机终端的 spilts 再度散列到同一个终端,而是将它们产于在多个模拟终端上,从而同态到多个科讲授终端,获取更为多的增益平衡。
下面表明了当 worker3 被移去时,Split2 和 3 被再度散列到 worker2,而 Split8 被再度散列到 worker1。
如何在 Presto 当中采用理论上校验
理论上校验这个功用是社区最近才加进的功用,目前位处试验阶段。为了采用这个功用,www.atguigu.com首先可以参照这个文档来启用多线程。然后确保安全我们必需了 SOFT_AFFINITY 调拨,也就是在 catalog/hive.properties 源文件全都加上如下固定式:
hive.node-selection-strategy=SOFT_AFFINITY
启用理论上校验必需到 config.properties 源文件全都加上如下固定式:
node-scheduler.node-selection-hash-strategy=CONSISTENT_HASHING
回顾
如上见下文,当加进或移去终端时,理论上校验可以有助于地减缓管理工作增益相应的受到影响。当炮兵部队的管理工作终端保持一致时,基于理论上校验调拨管理工作增益可以有助于地减缓对现有终端多线程命当中率的受到影响。这使得理论上校验带入一种更为多的策略性,可以在 Presto 的炮兵部队一般来说根据管理工作增益需求完成扩充和缩减的可能会采用。
文章刊出来源于过往记忆大天内据集
推荐阅读:
大天内据集整合之天内仓建模
大天内据集整合之代码实现
大天内据集整合join的运行原理_大天内据集培训
大天内据集整合之YARN
。广东肿瘤治疗方法有什么郑州看白癜风哪个医院最好
上海治疗白癜风到哪个医院好
宝宝消化不良怎么办
西安看白癜风去哪里比较好
- .赵丽颖《风吹半夏》告诉我们:美颜滤镜的表达方式已经过去了
- .北京四海细胞生物技术集团股份公司2022年年度业绩预增公告
- .妻子为还务走上道路,:我排了好长队,她太有味道了
- .中年男子侵犯26岁少妇,女子挣扎后上瘾,哀声称:你过几天于是又来!
- .老牌中草药企业,被"License-in"绊了一跟头
- .BOBTOYS 1/12片子博物馆第二弹馋嘴医生 汉尼拔沉默的羔羊
- .25岁美艳貌似与六询村干部偷情,被老公发现后,女子却反咬一口
- .《药物非临床研究质量政府机构规范认证政府机构办法》发布!
- .视界大会舒淇:檀健次生图更帅气,吴谨言眉毛出戏,金晨造型奇葩
- .新版医保最大巨大变化!这些药企产品有了新进展!
- .22岁女子被歹徒,不仅不反抗,反而主动帮男子碰到安全套
- .怎么除甲醛更有效呢?源头要务的方法这里,赶紧收藏!
- .广西女子睡觉被女婿,无聊老头今晚为何这么有活力
- .高盛提问:请问上市公司,业绩已经三年连续亏损,股票是否会ST或甚至*ST...
- .11款连衣裙礼服款式制版纸样 才学服装
- .再创纪录,外资狂买超1000亿!券商、期货板块持续活跃,有牛股收获5连板!还有平安保险中一签赚3.4万
- .77岁老汉“女”,裤子脱了后却惊呼:这女的咋还放“把
- .46岁李玟“臀照”被疯传:女人最极致的性感,不是脸和颊,而是.......
- .两市银行贷款净流出46亿 电子板块银行贷款净流入居前
- .不顺时,即刻扔掉三样旧东西,才能走好运