在一组中查找 "outliers"

Question

我正在处理出院数据。具有相同 Patient_ID 的所有住院（病例）应该是同一个人。但是我发现有 Pat_ID 有不同的年龄和性别。

假设我有这样一个数据集：

Case_ID <- 1:8
Pat_ID <- c(rep("1",4), rep("2",3),"3")
Sex <- c(rep(1,4), rep(2,2),1,1)
Age <- c(rep(33,3),76,rep(19,2),49,15)
Pat_File <- data.frame(Case_ID, Pat_ID, Sex,Age)

Case_ID Pat_ID Sex Age
1       1      1   33
2       1      1   33
3       1      1   33
4       1      1   76
5       2      2   19
6       2      2   19
7       2      1   49
8       3      1   15

识别 Pat_ID 的病例彼此不同相对容易。我在聚合函数的帮助下通过计算年龄 and/or 性别（编码为 1 和 2）的平均值找到了这些 ID，然后计算了平均值与年龄或性别之间的差异。我想自动 remove/identify 年龄或性别与患者 ID 的大多数情况不同的情况。在我的示例中，我想删除案例 4 和案例 7。

Answer 1

我相信此方法有效，但我怀疑它是否是最快或最有效的方法。

本质上，我是根据您的分组变量拆分数据框的。然后我找到了你关心的变量的 'mode' 。然后我们过滤掉那些不包含所有模式的观察结果。然后我们将所有东西粘在一起：

library(dplyr) # I used dplyr to 'filter' though you could do it another way
temp <- split(Pat_File, Pat_ID)

Mode.Sex <- lapply(temp, function(x) { temp1 <- table(as.vector(x$Sex)); names(temp1)[temp1 == max(temp1)]})

Mode.Age <- lapply(temp, function(x) { temp1 <- table(as.vector(x$Age)); names(temp1)[temp1 == max(temp1)]})

temp.f<-NULL
for(i in 1:length(temp)){
  temp.f[[i]] <- temp[[i]] %>% filter(Sex==Mode.Sex[[i]] & Age==Mode.Age[[i]])
}

do.call("rbind", temp.f)

#  Case_ID Pat_ID Sex Age
#1       1      1   1  33
#2       2      1   1  33
#3       3      1   1  33
#4       5      2   2  19
#5       6      2   2  19
#6       8      3   1  15

Answer 2

你可以试试

library(data.table)

使用 Mode 来自 Is there a built-in function for finding the mode?

  Mode <- function(x) {
    ux <- unique(x)
    ux[which.max(tabulate(match(x, ux)))]
 }

setDT(Pat_File)[, .SD[Age==Mode(Age) & Sex==Mode(Sex)] , by=Pat_ID]
#    Pat_ID Case_ID Sex Age
#1:      1       1   1  33
#2:      1       2   1  33
#3:      1       3   1  33
#4:      2       5   2  19
#5:      2       6   2  19
#6:      3       8   1  15

正在测试其他情况，

 Pat_File$Sex[6] <- 1
 Pat_File$Age[4] <- 16
 setDT(Pat_File)[, .SD[Age==Mode(Age) & Sex==Mode(Sex)] , by=Pat_ID]
 #    Pat_ID Case_ID Sex Age
 #1:      1       1   1  33
 #2:      1       2   1  33
 #3:      1       3   1  33
 #4:      2       6   1  19
 #5:      3       8   1  15

Answer 3

这是使用 sqldf 包的另一种方法： 1) 使用基于 Pat_ID、性别和年龄的独特组创建新数据框（称为 data_groups） 2) 对于每个唯一组，检查 Pat_ID 与其他每个组，如果一个组的 Pat_ID 与另一组匹配，select 计数较低的组并存储在新向量中（low_counts) 3) 获取新的datafame (data_groups) 并从新的vector (low_counts) 中取出Pat_IDs 4) 与 Pat_File

重组

代码如下：

library(sqldf)

# Create new dataframe with unique groups based on Pat_ID, Sex, and Age
data_groups <- sqldf("SELECT *, COUNT(*) FROM Pat_File GROUP BY Pat_ID, Sex, Age")
# Create New Vector to Store Pat_IDs with Sex and Age that differ from mode
low_counts <- vector()
# Unique groups
data_groups

for(i in 1:length(data_groups[,1])){
  for(j in 1:length(data_groups[,1])){
    if(i<j){
      k <- length(low_counts)+1
      result <- data_groups[i,2]==data_groups[j,2]
      if(is.na(result)){result <- FALSE}
      if(result==TRUE){
        if(data_groups[i,5]<data_groups[j,5]){low_counts[k] <- data_groups[i,1]}      
        else{low_counts[k] <- data_groups[j,1]}
      }
    }
  }
}

low_counts <- as.data.frame(low_counts)
# Take out lower counts
data_groups <- sqldf("SELECT * FROM data_groups WHERE Case_ID NOT IN (SELECT * FROM low_counts)")

Pat_File <- sqldf("SELECT Pat_File.Case_ID, Pat_File.Pat_ID, Pat_File.Sex, Pat_File.Age FROM data_groups, Pat_File WHERE data_groups.Pat_ID=Pat_File.Pat_ID AND data_groups.Sex=Pat_File.Sex AND data_groups.Age=Pat_File.Age ORDER BY Pat_File.Case_ID")

Pat_File

提供以下结果：

  Case_ID Pat_ID Sex Age
1       1      1   1  33
2       2      1   1  33
3       3      1   1  33
4       5      2   2  19
5       6      2   2  19
6       8      3   1  15

在一组中查找 "outliers"

Finding "outliers" in a group

r

data-cleaning