仍学网合作机构 > 学校机构 > 成都大数据培训机构欢迎您!

咨询热线 400-001-5729

大数据培训中如何写数据

发布时间:2023-04-07 15:43:27

大数据分析培训

    1.客户端从zk中获取meta表位置,到对应regionServer上获取该表,或直接从缓存中读取该表。
    2.客户端从meta表中获取要写的数据存放的region和所在的regionServer。
    3.客户端给数据设置版本(默认当前时间),往该regionServer的hlog上写日志数据客户端同时往该regionServer的memstore上写入数据,memstore溢写到磁盘,溢写的小文件达到阀值数量时会合并成一个storefileregion体积达到阀值时拆分成两个region由Hmaster负责均衡负载,拆分规则为保留连续行键
    根据前缀判断,写原子性,写操作必须保证Hlog和memstore都写入完成才会返回成功,而且使用读写行锁保证一次对行写入期间其它读写请求会阻塞等待。