Pandas学习笔记之重复数据统计

在医院统计计算绩效数据，通过在网上搜索，发现Pandas确实在数据处理确实快。本文章持续更新和更改，只供自己学习使用

一、重复数据查询：

Pandas提供duplicated函数标记重复

pandas.DataFrame.duplicated(self, subset=None, keep=’first’)

subset：用于识别重复的列标签或列标签序列，默认所有列标签

keep=‘frist’：除了第一次出现外，其余相同的被标记为重复

keep=’last’：除了最后一次出现外，其余相同的被标记为重复

keep=False：所有相同的都被标记为重复

举例说明：
repeat=operationData[operationData.duplicated([‘手术日期’,’病案号’,”手术医生”])]
print(repeat)
这样就根据手术日期、病案号、手术医生三列查出重复数据了，默认是把后出现的数据标记为重复

二、去掉重复数据：
使用drop_duplicates(subset=None, keep=’first’, inplace=False)
该函数也有keep参数，于duplicates一样，另外该函数还有一个参数inplace，如果是True则直接修改源数据，False则返回一个修改后的副本

ExecuteDataFrame.drop_duplicates([“手术日期”,”手术名称”,”病案号”])#去掉重复记录
该函数返回已经删除重复行记录的dataframe