Linux實現(xiàn)文件內(nèi)容去重及求交并差集
一、數(shù)據(jù)去重
日常工作中，使用Hive或者Impala查詢導(dǎo)出來可能會存在數(shù)據(jù)重復(fù)的現(xiàn)象，但又不想重新執(zhí)行一遍查詢（查詢時間稍長，導(dǎo)出文件內(nèi)容多），因此想到了使用Linux命令將文件的內(nèi)容重復(fù)數(shù)據(jù)進行去除。
案例如下：
可以看到aaa.txx有3條重復(fù)數(shù)據(jù)
想去掉多余的數(shù)據(jù)，只保留一條
sort aaa.txt | uniq > bbb.txt
將aaa.txt文件中重復(fù)數(shù)據(jù)去掉，輸出到bbb.txt
可以看到bbb.txt文件中只保留了一條數(shù)據(jù)
二、數(shù)據(jù)交、并、差
1)、交集(相當(dāng)于user_2019 inner join user_2020 on user_2019.user_no=user_2020.user_no)
sort user_2019.txt user_2020.txt | uniq -d
2)、并集(相當(dāng)于 user_2019.user_no union user_2020.user_no)
sort user_2019.txt user_2020.txt | uniq
3)、差集
user_2019.txt-user_2020.txt
sort user_2019.txt user_2020.txt user_2020.txt | uniq -u
user_2020.txt - user_2019.txt:
sort user_2020.txt user_2019.txt user_2019.txt | uniq -u
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了在 CentOS 7 中安裝 MySQL 8 的教程詳解,非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下2018-10-10
本文介紹了如何將haproxy的日志從系統(tǒng)syslog中分離出來,并獨立記錄到不同的日志文件中,通過修改rsyslog配置文件和haproxy配置文件,可以實現(xiàn)這一目標(biāo),并便于后期的日志管理和分析2024-12-12
Linux系統(tǒng)下的find 命令用于在目錄結(jié)構(gòu)中查找文件，同時還可以對查找結(jié)果進行指定的操作。下面這篇文章主要介紹了Linux中find命令的用法,需要的朋友可以參考借鑒，下面來一起看看吧。2017-01-01
Linux crontab定時任務(wù)執(zhí)行失敗處理方案
這篇文章主要介紹了Linux crontab定時任務(wù)執(zhí)行失敗處理方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
Apache 的 httpd.conf 中文詳解，需要的朋友可以參考下。2009-11-11
Linux使用tracepath進行網(wǎng)絡(luò)診斷分析
tracepath?命令是?Linux?中的一個網(wǎng)絡(luò)診斷工具,類似于?traceroute,下面小編來為大家介紹一下如何使用tracepath進行網(wǎng)絡(luò)診斷分析吧2025-02-02
這篇文章主要介紹了Centos7硬盤掛載方法并把需要注意的地方做了注明，需要的朋友參考下吧。2018-02-02
CentOS 6.3 安裝配置Apache2.2.6的方法(源碼編譯安裝)
這篇文章主要介紹了CentOS 6.3 安裝配置Apache2.2.6的方法,需要的朋友可以參考下2014-11-11
inux下gettimeofday函數(shù)windows替換方法(詳解)
下面小編就為大家?guī)硪黄猧nux下gettimeofday函數(shù)windows替換方法(詳解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-12-12
Linux系統(tǒng)基本分兩大類：RedHat系列：Redhat、Centos、Fedora等；Debian系列：Debian、Ubuntu?等。yum是一個在?Fedora?和?RedHat?以及?SUSE?中的?Shell?前端軟件包管理器。apt是一個在?Debian?和Ubuntu中的Shell前端軟件包管理器。2023-04-04