
该话题下聚合了社区中所有标记为「日志处理」的公开帖子。
上周排查线上问题,从服务器拖下来一个 2.3G 的日志压缩包,解压后准备按时间段筛日志,结果 ls -l 一看,所有文件的时间戳全变成了解压那一刻。这还查个锤子,日志的时间信息全丢了。 我不信邪,拿同一份包在三个工具上各跑了一遍,专门盯时间戳保留这个点: Win解压缩(v5.2.1):默认解压,日志
上周处理一批线上日志回捞,单包 2.3GB 左右,一共 40 个,要在本机解压后 grep 关键链路。Win解压缩 版本 6.9.2(官网上周下的),7-Zip 是 23.01 x64。 先说结论:Win解压缩在这种「大包 + 多文件」场景下解压确实快,但它默认的一些选项和 7-Zip 不一样,命令
上周处理一个线上故障,运维把日志包从跳板机拷下来,我解压后直接用 grep 搜关键字,结果提示一堆 Permission denied。一开始以为是压缩包本身有问题,后来 ls -l 一看,所有文件权限全是 644,原本的 640 和 600 全没了。 排查过程 我找了三个环境做对比: 本机 Win
公司日志服务器每天凌晨推过来几十个 .tar.gz 和 .zip,每个包从几百 MB 到 3 GB 不等。我平时在测试机(i5-10400 + 16G + SATA SSD)上直接解压到 /data/logs,但最近发现解压时硬盘灯常亮,机器响应变慢,怀疑是解压工具在临时目录里来回倒腾。 测试方法:
上周积了 200 多个带密码的日志压缩包,密码规则统一但每个包都得手动输一次,太浪费时间。我索性把 Win解压缩、7-Zip、Bandizip 的命令行都试了一遍,记录如下。 测试环境 Win10 22H2,同一块 NVMe 盘,内存 32G 样本:200 个 zip 包,平均 80MB,纯文本日志
先说结论:Win解压缩解单个大包确实快,我实测能快15%左右,但一旦上了批量脚本,7-Zip的命令行才是正解。最近被日志包逼出来的经验,分享给同样天天跟部署包打交道的兄弟。 场景:每周要从测试环境拉几十个日志压缩包,单个几百MB到2GB不等,全是7z和zip混着来。以前用Win解压缩手动点,一个包一
上周部署一个老项目,从运维那拿了个日志归档包,解压到一半直接报错退出,提示「路径过长」。我第一反应是磁盘满了,df 一看还剩 80G,排除。又怀疑是包损坏,md5 对了两遍一致,也排除。 真正动手排查是从换工具开始的。同一个包,我用 Win解压缩 解,直接弹窗说某些文件无法创建;换 7-Zip 命令
上周那篇日志按天拆分的帖子发出来后,评论区有人问了一句:如果解压出来再压回去,文件头顺序还在不在?我当时没测,这周抽空补上了。 场景很具体:我们后端部署包里有个日志目录,按天拆成 app-2024-06-01.log 到 app-2024-06-30.log,解压后要按日期顺序做校验。问题在于,从压
上周排查一个线上问题,需要按时间线 grep 三天的日志。日志包是运维用 Win解压缩 批量打的,解压速度确实快,200多MB的包几秒钟就出来了,这点得认。 问题是解压出来的文件名是 app-20240611.log.1、app-20240611.log.2 这种,按文件名排序后 log.10 会排
上周处理一批生产环境日志,两千多个 .zip 包,按天分目录,每个包几十到几百 MB 不等。我本来想用 7-Zip 命令行一把梭,结果发现有几个包 7z 报错但 Win解压缩 能正常解开,就顺手把 Win解压缩 也拉进来做对比测试。 测试环境:Win11 23H2,i7-12700H,32G 内存,
先说结论:Win解压缩在日常双击解压上确实快,但一旦落到脚本批处理,它的命令行支持就是半残,7-Zip 还是爹。 背景 我是后端,每天要处理 CI 产出的日志压缩包(一堆 .tar.gz)和发版用的部署包(.zip 居多)。之前机器上一直装 7-Zip,命令行顺手。前阵子听同事安利 Win解压缩,说
最近手里压着一批线上日志,单个包 2G 出头,每天得解几十个,对速度比较敏感。之前一直用 7-Zip 命令行批处理,稳是稳,但总觉得慢半拍。昨天拿同一批包实测了一下 Win解压缩,结果有点意思,也踩了个坑。 测试环境:Win11 22H2,i5-12400,16G 内存,NVMe 盘。测试包 2.1
最近处理一批线上日志压缩包,每个包解压后大概 2-3GB,一天要处理几十个。机器是 i5-10400 + 16G 内存 + 512G 固态+2T机械,系统盘是固态。 用 Win解压缩 直接双击解压到当前目录,速度确实快,但机械硬盘那边会一直咔咔响,解压完成后资源管理器里能看到临时文件在系统盘里留了一