pandas(13):数据清洗(重复值和异常值查看)

2021年6月17日 21点热度 0条评论 来源: Lu-顺

目录

数据源:

df= pd.DataFrame({'k1': [ 's1']* 3 + ['s2']* 5,'k2' : [1, 1, 2, 3, 3, 4, 4,4]})
df

1 重复值判断和查看

df.duplicated(subset=None, keep='first')

功能:
指定列数据重复项判断,返回指定列重复行boolean Series.
参数说明:

  • subset=None:列标签或标签序列,可选,只考虑某些列来识别重复项;默认使用所有列。
  • keep='first':{'first','last',False}
    • first:将第一次出现重复值标记为True。
    • last:将最后一次出现重复值标记为True。
    • False:将所有重复项标记为True。
# 默认判断所有列,只有第一条不标记为true,后面重复出现的都是true
df.duplicated()
# subset=[list],只判断指定列
df.duplicated(subset=['k1'])
# keep='last',只最后一次不标记为true,前面的都标记为true
df.duplicated(keep='last')
# keep=false,所有重复项都标记为true
df.duplicated(keep=False)

# 查看记录重复数量,不包括首次出现那条记录
df.duplicated().value_counts()
# 查看记录重复的所有数量
df.duplicated(keep=False).value_counts()
# 查看所有重复记录
df[df.duplicated(keep=False)]
# 查看除首条外的所有重复记录
df[df.duplicated()]

2 重复值删除

df.drop_duplicates(subset=None, keep='first', inplace=False)

3 异常值初步查看代码

for col_name in df.columns[:-1]:
    s=users_df[col_name].value_counts().sort_index().reset_index()
    if s.shape[0] > 20:
        print(pd.concat([s[:10],s[-10:]]))
    else:
        print(s)
    原文作者:Lu-顺
    原文地址: https://www.cnblogs.com/xiaoshun-mjj/p/14885493.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。