个人笔记
SongPinru 的小仓库
时间线
-
早上10:00 东辉报告ifans任务大量失败
-
排查后发现hive表数据丢失
-
怀疑集群可能出现问题，排查集群状态，发现无异常
-
-
10:30 发现hdfs上数据也丢失
- 怀疑有删除操作，但集群数据总量变化不大，排查各用户下的Trash目录
-
10:40 发现Ubuntu目录下有大量数据，锁定数据被误删导致
-
10:45 尝试恢复数据及任务
- 因为实时任务及小时任务，原目录下的文件夹及文件有同名存在，恢复失败
-
10:50 分项目手动恢复
-
11:00 恢复到第二个项目时报错，回收站内文件不存在
- 怀疑有人同步恢复操作，在飞书群内询问，回应没有同步操作过
-
11:03 查看hdfs日志及web UI，发现有大量文件正在执行删除操作（异步删除指令，且path是回收站）
- 立即上报，并请求是否关停集群（数据量大，真正删除后恢复难度极大）
-
11:04 收到关停集群指示，开始停止HDFS所有组件
-
11:07 飞书群内同步hdfs关停信息，开始讨论数据恢复方案
-
根据HDFS原理，当时有三个恢复方案
-
根据HDFS自动保存的快照，恢复到数据误删除之前（影响最大，会丢失一天的新数据）
-
编辑editlog，把下发删除的指令篡改（难度较大，时间上不太允许去了解相关原理和操作方法）
-
找到删除指令的log文件，删除这个文件及之后的editlog（影响相对较小，集群会损失几分钟内的数据）
-
-
三个方案都有的缺点：异步删除指令已经下发的块，无法找回，会有块丢失
-
最终确定使用方案三
-
-
11:40 左右，确定恢复方案，备份editlog，并开始编辑editlog
-
12:10 启动集群
-
14:30 左右，集群所有节点冷启动成功
- 主要有3台节点冷启动很慢，超过我们预测，其他节点均在半小时内启动
- 块丢失比例超过容忍度上限，无法退出SafeMode
-
15:00 修改容忍度后重启NameNode
- NameNode切换Active报错失败，报错日志显示txid不匹配
- 由于是NameNode切换时报错，第一时间认为这个id是保存在HA相关组件，查看zookeeper，无发现
- 怀疑是inprogress 的editlog文件名后缀匹配就是这个endid（数字是相等的），改名editlog并重启JournalNode和NameNode，无效
- 继续排查，发现editlog最上面有个committed-txid文件，但内容是二进制，解析后发现就是日志中报错信息里的txid 4677525725
- 修改二进制文件，改为4677450298
- 重启JournalNode和NameNode，切换成功，但是之后很快NameNode和JournalNode挂掉
- 发现是改动editlog引入了脏文件和权限更改，修复后再启动
-
17:30 NameNode恢复，Trash目录恢复，立刻移动到安全目录，防止再次触发清空
- 实时任务陆续恢复
-
18:40 数据全部归位，相关任务开始重跑
-
本次总共丢失 139,064 个块，约2TB数据，找回 211.7TB，恢复率99%
相关原理
HDFS主要有两个个重要角色：NameNode、DataNode
NameNode元数据
NameNode的两种文件：edits和fsimage
edits：类似于电脑中的内存（临时的操作过程数据） fsimage：类似于电脑中的磁盘（某一时刻的最终完整状态。)
edits是动态，会经常发生变化的，fsimage是相对静态的，一个完整的文件是edits+fsimage。 hdfs第一次启动时（格式化的时候），会在name目录下会创建edits和fsimage文件。 hdfs在之后的启动过程中，会把磁盘中两种文件的数据加载到内存中
两种文件的配合使用： edits：打开current会发现edits有两种状态：
1.edits_00000000000120-edits_0000000000122. 里面记录了临时的一些操作。 2.edits_inprogress_0000000000123 这种edits记录的是离当前时刻操作最近的某些操作，到一定的时间，edits_inprogress_0000000000123会封装成edits_00000000000123-edits_0000000000124.并且同时生成一个新的edits_inprogress_0000000000124
文件合并的条件： 1.记录数达到一百万条 2.时间达到1小时 满足其中任意一条就可以。 每隔一分钟second namenode会发送询问namenode是否需要合并。
JournalNode
在HA条件下，NameNode的功能被拆分，记录edits的功能交给了JournalNode，由JournalNode来保证一致性
Standby NameNode负责合并edits和fsimage
Active NameNode只负责处理请求和拉取合并后的fsimage
NameNode启动过程
- 加载fsimage和edits文件。
- 进入SafeMode
- 等待DataNode注册，接收Block Report。
- 退出SafeMode
- 生成新的fsimage和edits文件。
DataNode启动过程
datanode启动时，每个datanode对本地磁盘进行扫描，将本datanode上保存的block信息汇报给namenode，namenode在接收到的block信息以及该block所在的datanode信息等保存在内存中。
DataNode启动后向NameNode注册，通过后周期性（1小时）的向NameNode上报所有的块信息。
而后，通过向NameNode发送心跳保持与其联系（3秒一次）
DataNode冷启动主要时间花费在了磁盘扫描上
疑问点
为什么昨天删除的数据今天就触发清理了？
默认的保存时间是24小时，但是清理机制是删除回收站中超过时间的checkpoint，然后把current改名成checkpoint的时间戳，理论上应该在11:00的时刻发生清理并改名，我们的数据应该还能再保留一天，但是从截图上可以看到，10:36分时Trash内的checkpoint已经改名了，因此导致了11点时这个checkpoint正好超时，触发了清理。目前还不清楚是什么机制触发的提前改名，正在排查中。
后续
针对这个事件，也暴露了我们权限管理和监控的一些漏洞，我们目前增加了针对关键目录数据量的监控报警
-
增加了线上数据的留存时间 1天->7天
-
对于各项目的根目录增加数据量减少的监控报警
-
增加各个用户下Trash目录下的监控报警
我们之后会继续探讨并摸索出一个合适的权限方案，尽力避免此类事件的再次发生
附录
txid不匹配
2022-10-28 16:03:54,072 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Using longest log: 10.11.20.50:8485=segmentState {
startTxId: 4677419618
endTxId: 4677450298
isInProgress: true
}
lastWriterEpoch: 34
lastCommittedTxId: 4677525725
2022-10-28 16:03:54,072 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [10.11.20.50:8485, 10.11.20.51:8485, 10.11.20.52:8485], stream=null))
java.lang.AssertionError: Decided to synchronize log to startTxId: 4677419618
endTxId: 4677450298
isInProgress: true
but logger 10.11.20.50:8485 had seen txid 4677525725 committed 4677419618
at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.recoverUnclosedSegment(QuorumJournalManager.java:352)
at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.recoverUnfinalizedSegments(QuorumJournalManager.java:455)
at org.apache.hadoop.hdfs.server.namenode.JournalSet$6.apply(JournalSet.java:616)
at org.apache.hadoop.hdfs.server.namenode.JournalSet.mapJournalsAndReportErrors(JournalSet.java:385)
at org.apache.hadoop.hdfs.server.namenode.JournalSet.recoverUnfinalizedSegments(JournalSet.java:613)
at org.apache.hadoop.hdfs.server.namenode.FSEditLog.recoverUnclosedStreams(FSEditLog.java:1603)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startActiveServices(FSNamesystem.java:1210)
at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.startActiveServices(NameNode.java:1898)
at org.apache.hadoop.hdfs.server.namenode.ha.ActiveState.enterState(ActiveState.java:61)
at org.apache.hadoop.hdfs.server.namenode.ha.HAState.setStateInternal(HAState.java:64)
at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.setState(StandbyState.java:49)
at org.apache.hadoop.hdfs.server.namenode.NameNode.transitionToActive(NameNode.java:1756)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.transitionToActive(NameNodeRpcServer.java:1700)
at org.apache.hadoop.ha.protocolPB.HAServiceProtocolServerSideTranslatorPB.transitionToActive(HAServiceProtocolServerSideTranslatorPB.java:107)
at org.apache.hadoop.ha.proto.HAServiceProtocolProtos$HAServiceProtocolService$2.callBlockingMethod(HAServiceProtocolProtos.java:4460)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)
2022-10-28 16:03:54,077 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [10.11.20.50:8485, 10.11.20.51:8485, 10.11.20.52:8485], stream=null))
2022-10-28 16:03:54,079 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
NameNode目录
drwxr-xr-x 2 hdfs hdfs 20480 Nov 2 13:18 ./
drwx------ 3 hdfs hadoop 52 Oct 28 17:34 ../
-rw-r--r-- 1 hdfs hdfs 3342789 Oct 28 08:28 edits_0000000004675173654-0000000004675198126
-rw-r--r-- 1 hdfs hdfs 3686450 Oct 28 08:30 edits_0000000004675198127-0000000004675225775
-rw-r--r-- 1 hdfs hdfs 4886378 Oct 28 08:32 edits_0000000004675225776-0000000004675262691
-rw-r--r-- 1 hdfs hdfs 3327336 Oct 28 08:34 edits_0000000004675262692-0000000004675287178
-rw-r--r-- 1 hdfs hdfs 4266806 Oct 28 08:36 edits_0000000004675287179-0000000004675316521
-rw-r--r-- 1 hdfs hdfs 3330201 Oct 28 08:38 edits_0000000004675316522-0000000004675340904
-rw-r--r-- 1 hdfs hdfs 3195598 Oct 28 08:40 edits_0000000004675340905-0000000004675364356
-rw-r--r-- 1 hdfs hdfs 3223683 Oct 28 08:42 edits_0000000004675364357-0000000004675387860
-rw-r--r-- 1 hdfs hdfs 3258903 Oct 28 08:44 edits_0000000004675387861-0000000004675411750
-rw-r--r-- 1 hdfs hdfs 3280124 Oct 28 08:46 edits_0000000004675411751-0000000004675435710
-rw-r--r-- 1 hdfs hdfs 3357564 Oct 28 08:48 edits_0000000004675435711-0000000004675460268
-rw-r--r-- 1 hdfs hdfs 4907200 Oct 28 08:52 edits_0000000004675460269-0000000004675496269
-rw-r--r-- 1 hdfs hdfs 3241313 Oct 28 08:54 edits_0000000004675496270-0000000004675520041
-rw-r--r-- 1 hdfs hdfs 2617454 Oct 28 08:56 edits_0000000004675520042-0000000004675539088
-rw-r--r-- 1 hdfs hdfs 3303037 Oct 28 08:58 edits_0000000004675539089-0000000004675563299
-rw-r--r-- 1 hdfs hdfs 3300106 Oct 28 09:00 edits_0000000004675563300-0000000004675587360
-rw-r--r-- 1 hdfs hdfs 3157950 Oct 28 09:02 edits_0000000004675587361-0000000004675610460
-rw-r--r-- 1 hdfs hdfs 3210365 Oct 28 09:04 edits_0000000004675610461-0000000004675633960
-rw-r--r-- 1 hdfs hdfs 3323283 Oct 28 09:06 edits_0000000004675633961-0000000004675658340
-rw-r--r-- 1 hdfs hdfs 3575149 Oct 28 09:08 edits_0000000004675658341-0000000004675684246
-rw-r--r-- 1 hdfs hdfs 2732258 Oct 28 09:10 edits_0000000004675684247-0000000004675703851
-rw-r--r-- 1 hdfs hdfs 5000435 Oct 28 09:12 edits_0000000004675703852-0000000004675735520
-rw-r--r-- 1 hdfs hdfs 3687085 Oct 28 09:14 edits_0000000004675735521-0000000004675761240
-rw-r--r-- 1 hdfs hdfs 3381073 Oct 28 09:16 edits_0000000004675761241-0000000004675785832
-rw-r--r-- 1 hdfs hdfs 3419718 Oct 28 09:18 edits_0000000004675785833-0000000004675810828
-rw-r--r-- 1 hdfs hdfs 4173499 Oct 28 09:20 edits_0000000004675810829-0000000004675838843
-rw-r--r-- 1 hdfs hdfs 3415127 Oct 28 09:22 edits_0000000004675838844-0000000004675863778
-rw-r--r-- 1 hdfs hdfs 3415335 Oct 28 09:24 edits_0000000004675863779-0000000004675888748
-rw-r--r-- 1 hdfs hdfs 3349177 Oct 28 09:26 edits_0000000004675888749-0000000004675913223
-rw-r--r-- 1 hdfs hdfs 3447191 Oct 28 09:28 edits_0000000004675913224-0000000004675938389
-rw-r--r-- 1 hdfs hdfs 2626553 Oct 28 09:30 edits_0000000004675938390-0000000004675957929
-rw-r--r-- 1 hdfs hdfs 4105732 Oct 28 09:32 edits_0000000004675957930-0000000004675988283
-rw-r--r-- 1 hdfs hdfs 3350369 Oct 28 09:34 edits_0000000004675988284-0000000004676012826
-rw-r--r-- 1 hdfs hdfs 4176315 Oct 28 09:36 edits_0000000004676012827-0000000004676041290
-rw-r--r-- 1 hdfs hdfs 3310722 Oct 28 09:38 edits_0000000004676041291-0000000004676065561
-rw-r--r-- 1 hdfs hdfs 2830895 Oct 28 09:40 edits_0000000004676065562-0000000004676086306
-rw-r--r-- 1 hdfs hdfs 3651792 Oct 28 09:42 edits_0000000004676086307-0000000004676113508
-rw-r--r-- 1 hdfs hdfs 3756545 Oct 28 09:44 edits_0000000004676113509-0000000004676139560
-rw-r--r-- 1 hdfs hdfs 2979401 Oct 28 09:46 edits_0000000004676139561-0000000004676161331
-rw-r--r-- 1 hdfs hdfs 3414446 Oct 28 09:48 edits_0000000004676161332-0000000004676186265
-rw-r--r-- 1 hdfs hdfs 3249372 Oct 28 09:50 edits_0000000004676186266-0000000004676210091
-rw-r--r-- 1 hdfs hdfs 4944804 Oct 28 09:53 edits_0000000004676210092-0000000004676246102
-rw-r--r-- 1 hdfs hdfs 3214631 Oct 28 09:55 edits_0000000004676246103-0000000004676269669
-rw-r--r-- 1 hdfs hdfs 3264434 Oct 28 09:57 edits_0000000004676269670-0000000004676293498
-rw-r--r-- 1 hdfs hdfs 3233791 Oct 28 09:59 edits_0000000004676293499-0000000004676317183
-rw-r--r-- 1 hdfs hdfs 3433540 Oct 28 10:01 edits_0000000004676317184-0000000004676342237
-rw-r--r-- 1 hdfs hdfs 3382891 Oct 28 10:03 edits_0000000004676342238-0000000004676366963
-rw-r--r-- 1 hdfs hdfs 2965626 Oct 28 10:05 edits_0000000004676366964-0000000004676388733
-rw-r--r-- 1 hdfs hdfs 3529112 Oct 28 10:07 edits_0000000004676388734-0000000004676414352
-rw-r--r-- 1 hdfs hdfs 16588298 Oct 28 10:09 edits_0000000004676414353-0000000004676508895
-rw-r--r-- 1 hdfs hdfs 16019944 Oct 28 10:11 edits_0000000004676508896-0000000004676592964
-rw-r--r-- 1 hdfs hdfs 12303009 Oct 28 10:13 edits_0000000004676592965-0000000004676672279
-rw-r--r-- 1 hdfs hdfs 3798023 Oct 28 10:16 edits_0000000004676672280-0000000004676698415
-rw-r--r-- 1 hdfs hdfs 3529281 Oct 28 10:18 edits_0000000004676698416-0000000004676724144
-rw-r--r-- 1 hdfs hdfs 3021680 Oct 28 10:20 edits_0000000004676724145-0000000004676746261
-rw-r--r-- 1 hdfs hdfs 4281850 Oct 28 10:22 edits_0000000004676746262-0000000004676774758
-rw-r--r-- 1 hdfs hdfs 3542077 Oct 28 10:24 edits_0000000004676774759-0000000004676799197
-rw-r--r-- 1 hdfs hdfs 3205086 Oct 28 10:26 edits_0000000004676799198-0000000004676822734
-rw-r--r-- 1 hdfs hdfs 3173091 Oct 28 10:28 edits_0000000004676822735-0000000004676845742
-rw-r--r-- 1 hdfs hdfs 3104655 Oct 28 10:30 edits_0000000004676845743-0000000004676868581
-rw-r--r-- 1 hdfs hdfs 3035075 Oct 28 10:32 edits_0000000004676868582-0000000004676890596
-rw-r--r-- 1 hdfs hdfs 3065900 Oct 28 10:34 edits_0000000004676890597-0000000004676913052
-rw-r--r-- 1 hdfs hdfs 3548373 Oct 28 10:36 edits_0000000004676913053-0000000004676938828
-rw-r--r-- 1 hdfs hdfs 3805932 Oct 28 10:38 edits_0000000004676938829-0000000004676964605
-rw-r--r-- 1 hdfs hdfs 3460822 Oct 28 10:40 edits_0000000004676964606-0000000004676989042
-rw-r--r-- 1 hdfs hdfs 3279358 Oct 28 10:42 edits_0000000004676989043-0000000004677012788
-rw-r--r-- 1 hdfs hdfs 3313942 Oct 28 10:44 edits_0000000004677012789-0000000004677037020
-rw-r--r-- 1 hdfs hdfs 3265287 Oct 28 10:46 edits_0000000004677037021-0000000004677060600
-rw-r--r-- 1 hdfs hdfs 3401499 Oct 28 10:48 edits_0000000004677060601-0000000004677085326
-rw-r--r-- 1 hdfs hdfs 3025267 Oct 28 10:50 edits_0000000004677085327-0000000004677107617
-rw-r--r-- 1 hdfs hdfs 22040763 Oct 28 10:53 edits_0000000004677107618-0000000004677259823
-rw-r--r-- 1 hdfs hdfs 4594411 Oct 28 10:55 edits_0000000004677259824-0000000004677292701
-rw-r--r-- 1 hdfs hdfs 18710279 Oct 28 10:57 edits_0000000004677292702-0000000004677419617
-rw-r--r-- 1 hdfs hdfs 4281259 Oct 28 10:59 edits_0000000004677419618-0000000004677450298
-rw-r--r-- 1 hdfs hdfs 5148971 Oct 28 11:01 edits_0000000004677450299-0000000004677486757
-rw-r--r-- 1 hdfs hdfs 3230468 Oct 28 11:04 edits_0000000004677486758-0000000004677510084
-rw-r--r-- 1 hdfs hdfs 3145728 Oct 28 11:05 edits_0000000004677510085-0000000004677525728
-rw-r--r-- 1 hdfs hdfs 4758297730 Nov 2 12:10 fsimage_0000000004767795486
-rw-r--r-- 1 hdfs hdfs 62 Nov 2 12:10 fsimage_0000000004767795486.md5
-rw-r--r-- 1 hdfs hdfs 4757715928 Nov 2 13:11 fsimage_0000000004768762596
-rw-r--r-- 1 hdfs hdfs 62 Nov 2 13:11 fsimage_0000000004768762596.md5
-rw-r--r-- 1 hdfs hdfs 11 Oct 28 11:04 seen_txid
-rw-r--r-- 1 hdfs hdfs 184 Nov 2 13:11 VERSION
JournalNode目录
-rw-r--r-- 1 hdfs hdfs 8 Nov 2 11:05 committed-txid
-rw-r--r-- 1 hdfs hdfs 3212414 Nov 2 07:42 edits_0000000004764171385-0000000004764194645
-rw-r--r-- 1 hdfs hdfs 3227119 Nov 2 07:44 edits_0000000004764194646-0000000004764218108
-rw-r--r-- 1 hdfs hdfs 3263080 Nov 2 07:46 edits_0000000004764218109-0000000004764241763
-rw-r--r-- 1 hdfs hdfs 3244460 Nov 2 07:48 edits_0000000004764241764-0000000004764265331
-rw-r--r-- 1 hdfs hdfs 3184373 Nov 2 07:50 edits_0000000004764265332-0000000004764288562
-rw-r--r-- 1 hdfs hdfs 3078262 Nov 2 07:52 edits_0000000004764288563-0000000004764310786
-rw-r--r-- 1 hdfs hdfs 3173344 Nov 2 07:54 edits_0000000004764310787-0000000004764333917
-rw-r--r-- 1 hdfs hdfs 3286358 Nov 2 07:56 edits_0000000004764333918-0000000004764357673
-rw-r--r-- 1 hdfs hdfs 3192213 Nov 2 07:58 edits_0000000004764357674-0000000004764380939
-rw-r--r-- 1 hdfs hdfs 3862858 Nov 2 08:00 edits_0000000004764380940-0000000004764408301
-rw-r--r-- 1 hdfs hdfs 3304018 Nov 2 08:02 edits_0000000004764408302-0000000004764432245
-rw-r--r-- 1 hdfs hdfs 3267737 Nov 2 08:04 edits_0000000004764432246-0000000004764456003
-rw-r--r-- 1 hdfs hdfs 3165608 Nov 2 08:06 edits_0000000004764456004-0000000004764479048
-rw-r--r-- 1 hdfs hdfs 5488189 Nov 2 08:09 edits_0000000004764479049-0000000004764518349
-rw-r--r-- 1 hdfs hdfs 4990644 Nov 2 08:12 edits_0000000004764518350-0000000004764549744
-rw-r--r-- 1 hdfs hdfs 3486970 Nov 2 08:14 edits_0000000004764549745-0000000004764573748
-rw-r--r-- 1 hdfs hdfs 2204365 Nov 2 08:16 edits_0000000004764573749-0000000004764589668
-rw-r--r-- 1 hdfs hdfs 4659305 Nov 2 08:18 edits_0000000004764589669-0000000004764620425
-rw-r--r-- 1 hdfs hdfs 3321053 Nov 2 08:20 edits_0000000004764620426-0000000004764644569
-rw-r--r-- 1 hdfs hdfs 3788015 Nov 2 08:22 edits_0000000004764644570-0000000004764670304
-rw-r--r-- 1 hdfs hdfs 3187853 Nov 2 08:24 edits_0000000004764670305-0000000004764693488
-rw-r--r-- 1 hdfs hdfs 3225840 Nov 2 08:26 edits_0000000004764693489-0000000004764716928
-rw-r--r-- 1 hdfs hdfs 3249857 Nov 2 08:28 edits_0000000004764716929-0000000004764740543
-rw-r--r-- 1 hdfs hdfs 3184232 Nov 2 08:30 edits_0000000004764740544-0000000004764763760
-rw-r--r-- 1 hdfs hdfs 3366496 Nov 2 08:32 edits_0000000004764763761-0000000004764787991
-rw-r--r-- 1 hdfs hdfs 3250000 Nov 2 08:34 edits_0000000004764787992-0000000004764811628
-rw-r--r-- 1 hdfs hdfs 3543826 Nov 2 08:36 edits_0000000004764811629-0000000004764837116
-rw-r--r-- 1 hdfs hdfs 3761214 Nov 2 08:38 edits_0000000004764837117-0000000004764862723
-rw-r--r-- 1 hdfs hdfs 3191583 Nov 2 08:40 edits_0000000004764862724-0000000004764885936
-rw-r--r-- 1 hdfs hdfs 3256502 Nov 2 08:42 edits_0000000004764885937-0000000004764909535
-rw-r--r-- 1 hdfs hdfs 3236170 Nov 2 08:44 edits_0000000004764909536-0000000004764933048
-rw-r--r-- 1 hdfs hdfs 3257846 Nov 2 08:46 edits_0000000004764933049-0000000004764956702
-rw-r--r-- 1 hdfs hdfs 3221578 Nov 2 08:48 edits_0000000004764956703-0000000004764980130
-rw-r--r-- 1 hdfs hdfs 2956173 Nov 2 08:50 edits_0000000004764980131-0000000004765001724
-rw-r--r-- 1 hdfs hdfs 3157461 Nov 2 08:52 edits_0000000004765001725-0000000004765024621
-rw-r--r-- 1 hdfs hdfs 3026339 Nov 2 08:54 edits_0000000004765024622-0000000004765046767
-rw-r--r-- 1 hdfs hdfs 3161994 Nov 2 08:56 edits_0000000004765046768-0000000004765069677
-rw-r--r-- 1 hdfs hdfs 3195751 Nov 2 08:58 edits_0000000004765069678-0000000004765092997
-rw-r--r-- 1 hdfs hdfs 3295772 Nov 2 09:00 edits_0000000004765092998-0000000004765116998
-rw-r--r-- 1 hdfs hdfs 3206131 Nov 2 09:02 edits_0000000004765116999-0000000004765140250
-rw-r--r-- 1 hdfs hdfs 3273596 Nov 2 09:04 edits_0000000004765140251-0000000004765164067
-rw-r--r-- 1 hdfs hdfs 3203830 Nov 2 09:06 edits_0000000004765164068-0000000004765187435
-rw-r--r-- 1 hdfs hdfs 3443826 Nov 2 09:08 edits_0000000004765187436-0000000004765212113
-rw-r--r-- 1 hdfs hdfs 6537496 Nov 2 09:11 edits_0000000004765212114-0000000004765255446
-rw-r--r-- 1 hdfs hdfs 4044804 Nov 2 09:13 edits_0000000004765255447-0000000004765282767
-rw-r--r-- 1 hdfs hdfs 3384049 Nov 2 09:15 edits_0000000004765282768-0000000004765307356
-rw-r--r-- 1 hdfs hdfs 4724548 Nov 2 09:17 edits_0000000004765307357-0000000004765338478
-rw-r--r-- 1 hdfs hdfs 3118047 Nov 2 09:19 edits_0000000004765338479-0000000004765361120
-rw-r--r-- 1 hdfs hdfs 3820144 Nov 2 09:21 edits_0000000004765361121-0000000004765387166
-rw-r--r-- 1 hdfs hdfs 3083500 Nov 2 09:23 edits_0000000004765387167-0000000004765409597
-rw-r--r-- 1 hdfs hdfs 3113625 Nov 2 09:25 edits_0000000004765409598-0000000004765432382
-rw-r--r-- 1 hdfs hdfs 3334160 Nov 2 09:27 edits_0000000004765432383-0000000004765456534
-rw-r--r-- 1 hdfs hdfs 2716393 Nov 2 09:29 edits_0000000004765456535-0000000004765476359
-rw-r--r-- 1 hdfs hdfs 3416816 Nov 2 09:31 edits_0000000004765476360-0000000004765501011
-rw-r--r-- 1 hdfs hdfs 3310411 Nov 2 09:33 edits_0000000004765501012-0000000004765525092
-rw-r--r-- 1 hdfs hdfs 3064002 Nov 2 09:35 edits_0000000004765525093-0000000004765547232
-rw-r--r-- 1 hdfs hdfs 3867546 Nov 2 09:37 edits_0000000004765547233-0000000004765573520
-rw-r--r-- 1 hdfs hdfs 3326063 Nov 2 09:39 edits_0000000004765573521-0000000004765597753
-rw-r--r-- 1 hdfs hdfs 2912953 Nov 2 09:41 edits_0000000004765597754-0000000004765619806
-rw-r--r-- 1 hdfs hdfs 2784243 Nov 2 09:43 edits_0000000004765619807-0000000004765639956
-rw-r--r-- 1 hdfs hdfs 2533659 Nov 2 09:45 edits_0000000004765639957-0000000004765656968
-rw-r--r-- 1 hdfs hdfs 2392879 Nov 2 09:47 edits_0000000004765656969-0000000004765674067
-rw-r--r-- 1 hdfs hdfs 2339754 Nov 2 09:49 edits_0000000004765674068-0000000004765690954
-rw-r--r-- 1 hdfs hdfs 2346957 Nov 2 09:51 edits_0000000004765690955-0000000004765707754
-rw-r--r-- 1 hdfs hdfs 2241732 Nov 2 09:53 edits_0000000004765707755-0000000004765723933
-rw-r--r-- 1 hdfs hdfs 2338333 Nov 2 09:55 edits_0000000004765723934-0000000004765740809
-rw-r--r-- 1 hdfs hdfs 2596970 Nov 2 09:57 edits_0000000004765740810-0000000004765759440
-rw-r--r-- 1 hdfs hdfs 2615131 Nov 2 09:59 edits_0000000004765759441-0000000004765778303
-rw-r--r-- 1 hdfs hdfs 2799569 Nov 2 10:01 edits_0000000004765778304-0000000004765798517
-rw-r--r-- 1 hdfs hdfs 2772758 Nov 2 10:03 edits_0000000004765798518-0000000004765818646
-rw-r--r-- 1 hdfs hdfs 2793779 Nov 2 10:06 edits_0000000004765818647-0000000004765839006
-rw-r--r-- 1 hdfs hdfs 3113853 Nov 2 10:08 edits_0000000004765839007-0000000004765861444
-rw-r--r-- 1 hdfs hdfs 30907649 Nov 2 10:11 edits_0000000004765861445-0000000004766030354
-rw-r--r-- 1 hdfs hdfs 11457395 Nov 2 10:13 edits_0000000004766030355-0000000004766106774
-rw-r--r-- 1 hdfs hdfs 7239936 Nov 2 10:15 edits_0000000004766106775-0000000004766155829
-rw-r--r-- 1 hdfs hdfs 6155814 Nov 2 10:17 edits_0000000004766155830-0000000004766193801
-rw-r--r-- 1 hdfs hdfs 3566936 Nov 2 10:19 edits_0000000004766193802-0000000004766218962
-rw-r--r-- 1 hdfs hdfs 2915513 Nov 2 10:21 edits_0000000004766218963-0000000004766240024
-rw-r--r-- 1 hdfs hdfs 5055054 Nov 2 10:23 edits_0000000004766240025-0000000004766273428
-rw-r--r-- 1 hdfs hdfs 4523417 Nov 2 10:25 edits_0000000004766273429-0000000004766302393
-rw-r--r-- 1 hdfs hdfs 3787555 Nov 2 10:27 edits_0000000004766302394-0000000004766328872
-rw-r--r-- 1 hdfs hdfs 4067233 Nov 2 10:29 edits_0000000004766328873-0000000004766357743
-rw-r--r-- 1 hdfs hdfs 3693504 Nov 2 10:31 edits_0000000004766357744-0000000004766383527
-rw-r--r-- 1 hdfs hdfs 5075499 Nov 2 10:33 edits_0000000004766383528-0000000004766419272
-rw-r--r-- 1 hdfs hdfs 4668316 Nov 2 10:35 edits_0000000004766419273-0000000004766452578
-rw-r--r-- 1 hdfs hdfs 3169382 Nov 2 10:37 edits_0000000004766452579-0000000004766473903
-rw-r--r-- 1 hdfs hdfs 2906157 Nov 2 10:39 edits_0000000004766473904-0000000004766495117
-rw-r--r-- 1 hdfs hdfs 3252446 Nov 2 10:41 edits_0000000004766495118-0000000004766517612
-rw-r--r-- 1 hdfs hdfs 4244742 Nov 2 10:43 edits_0000000004766517613-0000000004766547643
-rw-r--r-- 1 hdfs hdfs 4655995 Nov 2 10:45 edits_0000000004766547644-0000000004766577347
-rw-r--r-- 1 hdfs hdfs 4463540 Nov 2 10:47 edits_0000000004766577348-0000000004766607890
-rw-r--r-- 1 hdfs hdfs 2300703 Nov 2 10:49 edits_0000000004766607891-0000000004766624502
-rw-r--r-- 1 hdfs hdfs 3378967 Nov 2 10:51 edits_0000000004766624503-0000000004766648649
-rw-r--r-- 1 hdfs hdfs 3077956 Nov 2 10:53 edits_0000000004766648650-0000000004766670933
-rw-r--r-- 1 hdfs hdfs 2715997 Nov 2 10:55 edits_0000000004766670934-0000000004766690193
-rw-r--r-- 1 hdfs hdfs 2378515 Nov 2 10:57 edits_0000000004766690194-0000000004766707504
-rw-r--r-- 1 hdfs hdfs 3545389 Nov 2 10:59 edits_0000000004766707505-0000000004766732719
-rw-r--r-- 1 hdfs hdfs 4779502 Nov 2 11:01 edits_0000000004766732720-0000000004766766964
-rw-r--r-- 1 hdfs hdfs 5098326 Nov 2 11:03 edits_0000000004766766965-0000000004766804091
-rw-r--r-- 1 hdfs hdfs 6291456 Nov 2 11:05 edits_inprogress_0000000004766804092
-rw-r--r-- 1 hdfs hdfs 3 Oct 28 17:27 last-promised-epoch
-rw-r--r-- 1 hdfs hdfs 3 Oct 28 17:27 last-writer-epoch
drwxr-xr-x 2 hdfs hdfs 6 Oct 28 17:27 paxos/
-rw-r--r-- 1 hdfs hdfs 135 Aug 7 2021 VERSION