工作计划中的异常值

Question

我正在尝试找出个人工作时间表的异常值（主要是变化很大）。试图找出是否有人在个人（上午 8 点 30 分至下午 5 点）或团体正常人（上午 7 点至下午 6 点）之外出现或离开。我尝试使用标准差，但问题是，

它给了我平均值两边的异常值。也就是说，如果有人在工作时间迟到（比如上午 10 点）或早退（比如下午 4 点）。
另一个问题是均值本身。如果数据集开始时极值很少，则需要大量观察才能将平均值降低到最频繁的时间。例如，一组在下午 3 点、上午 11 点、上午 10 点、上午 9 点左右的时间很少，但大多数时间在早上 6 点左右，但平均值需要大量观察才能获得早上 6 点的平均值。我想到了加权平均值，但这意味着我必须将时间四舍五入到最接近的 30 分钟左右。但想避免更改数据点。

有没有已知的方法可以找到工作日程中的异常值？我试图搜索，但我得到的只是时间序列中的异常值。但我正在寻找时间本身的异常值。有什么建议吗？

注意：我的数据集有PersonID和多个（滑动）times/day/PersonID。我正在使用 python 2.7.

Answer 1

如果我没理解错的话，你是想找出那些与他们自己的和整体的规范相比极早离开或极晚到达的人。

您遇到的第一个问题似乎与标记较晚或较早偏离（N x 标准差）的异常值有关。您应该能够控制是否在一侧或两侧标记异常值。
第二个问题与小样本均值有偏差或不稳定有关。除非您提前知道离群值阈值，否则您将需要一个健康的样本来识别任何情况下的离群值。如果平均值没有足够快地归零到共同点，并且你寻求共同价值，用众数代替均值。

此外，我建议查看每天的小时数 - 每天到达和离开之间的差异作为一个单独的指标。

下面我有一个方向性的方法/建议来解决你的问题，python3（对不起）。
它应该解决您提到的问题，但不会增加我认为您应该包括的每日工作时间。

这是您可以预期的输出：

Outlier PersonIDs based on overall data
array([ 1.,  4.,  7.,  8.])
Outlier PersonIDs based on each user's data and overall deviation
array([ 1.,  3.,  4.,  5.,  7.,  8.,  9.])

这是每日到达和离开时间分布：

代码如下：

#! /usr/bin/python3

import random
import pandas as pd
import numpy as np
import scipy.stats
import pprint
pp = pprint.PrettyPrinter(indent=4)

# Visualize:
import matplotlib.pyplot as plt

#### Create Sample Data START
# Parameters:
TimeInExpected=8.5 # 8:30am
TimeOutExpected=17 # 5pm
sig=1 # 1 hour variance
Persons=11
# Increasing the ratio between sample size and persons will make more people outliers.
SampleSize=20
Accuracy=1 # Each hour is segmented by hour tenth (6 minutes)

# Generate sample
SampleDF=pd.DataFrame([
    np.random.randint(1,Persons,size=(SampleSize)),
    np.around(np.random.normal(TimeInExpected, sig,size=(SampleSize)),Accuracy),
    np.around(np.random.normal(TimeOutExpected, sig,size=(SampleSize)),Accuracy)
    ]).T
SampleDF.columns = ['PersonID', 'TimeIn','TimeOut']

# Visualize
plt.hist(SampleDF['TimeIn'],rwidth=0.5,range=(0,24))
plt.hist(SampleDF['TimeOut'],rwidth=0.5,range=(0,24))
plt.xticks(np.arange(0,24, 1.0))
plt.xlabel('Hour of day')
plt.ylabel('Arrival / Departure Time Frequency')
plt.show()
#### Create Sample Data END


#### Analyze data 
# Threshold distribution percentile
OutlierSensitivity=0.05 # Will catch extreme events that happen 5% of the time. - one sided! i.e. only late arrivals and early departures.
presetPercentile=scipy.stats.norm.ppf(1-OutlierSensitivity)

# Distribution feature and threshold percentile
argdictOverall={
    "ExpIn":SampleDF['TimeIn'].mode().mean().round(1)
    ,"ExpOut":SampleDF['TimeOut'].mode().mean().round(1)
    ,"sigIn":SampleDF['TimeIn'].var()
    ,"sigOut":SampleDF['TimeOut'].var()
    ,"percentile":presetPercentile
}
OutlierIn=argdictOverall['ExpIn']+argdictOverall['percentile']*argdictOverall['sigIn']
OutlierOut=argdictOverall['ExpOut']-argdictOverall['percentile']*argdictOverall['sigOut']

# Overall
# See all users with outliers - overall
Outliers=SampleDF["PersonID"].loc[(SampleDF['TimeIn']>OutlierIn) | (SampleDF['TimeOut']<OutlierOut)]

# See all observations with outliers - Overall
# pp.pprint(SampleDF.loc[(SampleDF['TimeIn']>OutlierIn) | (SampleDF['TimeOut']<OutlierOut)].sort_values(["PersonID"]))

# Sort and remove NAs
Outliers=np.sort(np.unique(Outliers))
# Show users with overall outliers:
print("Outlier PersonIDs based on overall data")
pp.pprint(Outliers)

# For each
OutliersForEach=[]
for Person in SampleDF['PersonID'].unique():
    # Person specific dataset
    SampleDFCurrent=SampleDF.loc[SampleDF['PersonID']==Person]
    # Distribution feature and threshold percentile
    argdictCurrent={
        "ExpIn":SampleDFCurrent['TimeIn'].mode().mean().round(1)
        ,"ExpOut":SampleDFCurrent['TimeOut'].mode().mean().round(1)
        ,"sigIn":SampleDFCurrent['TimeIn'].var()
        ,"sigOut":SampleDFCurrent['TimeOut'].var()
        ,"percentile":presetPercentile
    }
    OutlierIn=argdictCurrent['ExpIn']+argdictCurrent['percentile']*argdictCurrent['sigIn']
    OutlierOut=argdictCurrent['ExpOut']-argdictCurrent['percentile']*argdictCurrent['sigOut']
    if SampleDFCurrent['TimeIn'].max()>OutlierIn or SampleDFCurrent['TimeOut'].min()<OutlierOut:
        Outliers=np.append(Outliers,Person)

# Sort and get unique values
Outliers=np.sort(np.unique(Outliers))
# Show users with overall outliers:
print("Outlier PersonIDs based on each user's data and overall deviation")
pp.pprint(Outliers)

工作计划中的异常值

Outliers in Works Schedule

python

statistics

time-series

outliers

data-science