全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 5502|回复: 9

求删除文档中重复行的办法

[复制链接]
发表于 2018-1-30 21:24:38 | 显示全部楼层 |阅读模式
100金钱
本帖最后由 nop 于 2018-1-30 21:25 编辑

需要重复的全部删掉
例如
a
ff
ff
gge
ff
e
处理后
a
gge
e

发表于 2018-1-30 21:28:20 | 显示全部楼层
复制到excel,数据-删除重复值
发表于 2018-1-30 21:30:34 | 显示全部楼层
excel   筛选   ctrl+g  可见单元格  全选 del
发表于 2018-1-30 21:48:08 来自手机 | 显示全部楼层
linux命令:

uniq -u filename
发表于 2018-1-30 21:59:55 | 显示全部楼层
手工筛选,删除
发表于 2018-1-30 22:01:55 | 显示全部楼层
筛选。然后标色,好像可以删除
你找下这个,
 楼主| 发表于 2018-1-30 23:48:20 | 显示全部楼层
找到了  
awk '{print $0}' file1 file2 |sort|uniq -u
发表于 2018-1-30 23:49:46 | 显示全部楼层
nop 发表于 2018-1-30 23:48
找到了  
awk '{print $0}' file1 file2 |sort|uniq -u

短的你不敢信系列:

  1. awk '!a[$0]++' file.txt
复制代码
发表于 2018-1-30 23:53:05 | 显示全部楼层
windows下大文档去重复推荐 ultraedit
excel之类的只支持  16万行以内的

ultraedit就看机器配置
发表于 2018-1-30 23:53:40 | 显示全部楼层
要写python么 给你写一个
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-6-4 04:26 , Processed in 0.060738 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表