我很难理解 OPTICS 聚类算法中的排序概念
I am having a hard time understanding the concept of Ordering in OPTICS Clustering algorithm
我很难理解 OPTICS 聚类算法中排序的概念。
如果有人对排序给出逻辑和直观的解释，并解释以下代码中 res$order 的作用以及 rehaability plot 是什么（可以通过命令 [= 获得），我将不胜感激21=]).
library(dbscan)
set.seed(2)
n <- 400
x <- cbind(
x = runif(4, 0, 1) + rnorm(n, sd=0.1),
y = runif(4, 0, 1) + rnorm(n, sd=0.1)
)
plot(x, col=rep(1:4, time = 100))
res <- optics(x, eps = 10, minPts = 10)
res
res$order
plot(res)
res$order 给出以下输出：
[1] 1 363 209 349 337 301 357 333 321 285 281 253 241 177 153 57 257 29 77 169 105 293 229 145 181 385 393 377 317 381 185 117
[33] 101 9 73 237 397 369 365 273 305 245 249 309 157 345 213 205 97 49 33 41 193 149 17 83 389 25 121 329 5 161 341 217
[65] 189 141 85 53 225 313 289 261 221 173 69 61 297 125 81 133 129 197 109 137 59 93 165 89 21 13 277 191 203 379 399 375
[97] 351 311 235 231 227 71 11 299 271 291 147 55 23 323 219 275 47 263 3 367 331 175 87 339 319 251 247 171 111 223 51 63
[129] 343 303 207 151 391 359 287 283 215 143 131 115 99 31 183 43 243 199 79 27 295 67 347 255 239 195 187 139 107 39 119 179
[161] 395 371 201 123 159 91 211 355 103 327 95 7 167 35 267 155 387 383 335 315 259 135 15 113 279 373 4 353 265 127 45 37
[193] 19 276 224 361 260 288 336 368 348 292 268 252 120 108 96 88 32 16 340 156 388 372 356 332 304 220 188 168 136 124 56 236
[225] 28 244 392 184 76 380 232 100 116 112 256 72 8 280 64 52 208 172 152 148 360 352 192 160 144 284 216 48 84 92 36 20
[257] 212 272 264 200 128 80 180 364 196 12 132 40 324 308 176 164 68 316 312 384 300 344 328 248 204 140 296 24 320 228 60 44
[289] 233 65 400 376 240 163 104 396 307 75 14 325 269 262 234 382 294 206 198 374 310 362 318 386 358 330 278 210 298 282 122 98
[321] 34 26 174 142 46 6 62 118 190 202 114 322 286 38 242 394 342 266 162 130 30 182 2 74 314 290 246 194 170 126 158 378
[353] 350 254 226 214 70 18 10 366 354 186 150 86 306 102 338 346 134 250 138 94 78 390 274 58 42 258 66 90 146 370 222 218
[385] 326 82 110 270 334 178 166 398 22 50 238 106 154 302 230 54
并且 'plot' 生成了一个可达性图，我无法 post 因为这是我在 StackExchange 上的第一个问题......但是如果你 运行 R 代码你轻松搞定
这是对您的数据集进行重新排序（排列），使得附近的点通常顺序接近。
R包中有详细说明。
library("dbscan")
vignette("dbscan")
参见第 2.2 节。光学：确定聚类结构的排序点
OPTICS provides an augmented ordering. The algorithm starting with a
point and expands it’s neighborhood like DBSCAN, but it explores the
new point in the order of lowest to highest core-distance. The order
in which the points are explored along with each point’s core- and
reachability-distance is the final result of the algorithm.
我一直在为同样的问题而苦苦挣扎，经过一些研究，我想我终于明白了它是如何工作的。
基本思路：
我现在补充一下维基百科提供的pseudocode，我评论解释一下：
OPTICS(DB, eps, MinPts)
for each point p of DB
p.reachability-distance = UNDEFINED
for each unprocessed point p of DB
N = getNeighbors(p, eps)
mark p as processed
output p to the ordered list # ordered list = final result
# if p is a core point (has at least minPts in the specified radius)
if (core-distance(p, eps, Minpts) != UNDEFINED)
Seeds = empty priority queue
# update the reachability-distance for every neighbour
update(N, p, Seeds, eps, Minpts)
# seeds will have the neighbours wich reachability-distance was updated
# with the selected core point
for each next q in Seeds
N' = getNeighbors(q, eps)
mark q as processed
output q to the ordered list # ordered list = final result
# if the neighbor is a core point, grow the cluster as DBSCAN does
if (core-distance(q, eps, Minpts) != UNDEFINED)
update(N', q, Seeds, eps, Minpts)
update(N, p, Seeds, eps, MinPts)
coredist = core-distance(p, eps, MinPts)
# for every neighbor
for each o in N
if (o is not processed)
new-reach-dist = max(coredist, dist(p,o))
if (o.reachability-distance == UNDEFINED) // o is not in Seeds
o.reachability-distance = new-reach-dist
Seeds.insert(o, new-reach-dist)
else // o in Seeds, check for improvement
if (new-reach-dist < o.reachability-distance)
o.reachability-distance = new-reach-dist
Seeds.move-up(o, new-reach-dist)
从该伪代码中，我得到以下信息：
- 您将需要一个有序列表（以表示可达性图）
- 集群将像在 DBSCAN 算法中那样增长
- 与 DBSCAN 的不同之处在于，现在，当您获得核心点的邻域时，您必须为每个邻域计算所谓的 可达距离；如果邻居没有，就保存你得到的那个点，然后把那个点放在有序列表中核心点的旁边；如果已经有一个，则将旧的与处理核心点时获得的那个进行比较，然后选择较小的那个。如果那个恰好是新的，则必须在有序列表中进行更新以容纳靠近核心点的点。
可达距离
现在，了解什么是可达距离至关重要。此外，从 Wikipedia，我们有：
据我所知，可达距离 是每个点到其最近的核心点的距离。
可达性图中山谷和尖峰的含义
如果我们看一下伪代码，现在就很清楚了：当一个点的最终可达距离超大时，说明该点离最近的核心点很远，所以不'属于任何集群。这就是为什么可达性图中的尖峰表示集群之间的分离......这些尖峰代表异常值。事实上，离群点是那些可达距离大于指定 epsilon 的点（它们不在任何核心点邻域内）。
至于为什么山谷代表集群，那必须与集群的生长方式有关；记住 DBSCAN 是如何工作的，在一连串直接连接的核心点之后增长一个集群......使用 OPTICS 是一样的，同时考虑到我们跟踪我们添加到当前集群的每个点的可达距离。想一想集群的形成方式以理解山谷的含义。
我很难理解 OPTICS 聚类算法中排序的概念。
如果有人对排序给出逻辑和直观的解释，并解释以下代码中 res$order 的作用以及 rehaability plot 是什么（可以通过命令 [= 获得），我将不胜感激21=]).
library(dbscan)
set.seed(2)
n <- 400
x <- cbind(
x = runif(4, 0, 1) + rnorm(n, sd=0.1),
y = runif(4, 0, 1) + rnorm(n, sd=0.1)
)
plot(x, col=rep(1:4, time = 100))
res <- optics(x, eps = 10, minPts = 10)
res
res$order
plot(res)
res$order 给出以下输出：
[1] 1 363 209 349 337 301 357 333 321 285 281 253 241 177 153 57 257 29 77 169 105 293 229 145 181 385 393 377 317 381 185 117 [33] 101 9 73 237 397 369 365 273 305 245 249 309 157 345 213 205 97 49 33 41 193 149 17 83 389 25 121 329 5 161 341 217 [65] 189 141 85 53 225 313 289 261 221 173 69 61 297 125 81 133 129 197 109 137 59 93 165 89 21 13 277 191 203 379 399 375 [97] 351 311 235 231 227 71 11 299 271 291 147 55 23 323 219 275 47 263 3 367 331 175 87 339 319 251 247 171 111 223 51 63 [129] 343 303 207 151 391 359 287 283 215 143 131 115 99 31 183 43 243 199 79 27 295 67 347 255 239 195 187 139 107 39 119 179 [161] 395 371 201 123 159 91 211 355 103 327 95 7 167 35 267 155 387 383 335 315 259 135 15 113 279 373 4 353 265 127 45 37 [193] 19 276 224 361 260 288 336 368 348 292 268 252 120 108 96 88 32 16 340 156 388 372 356 332 304 220 188 168 136 124 56 236 [225] 28 244 392 184 76 380 232 100 116 112 256 72 8 280 64 52 208 172 152 148 360 352 192 160 144 284 216 48 84 92 36 20 [257] 212 272 264 200 128 80 180 364 196 12 132 40 324 308 176 164 68 316 312 384 300 344 328 248 204 140 296 24 320 228 60 44 [289] 233 65 400 376 240 163 104 396 307 75 14 325 269 262 234 382 294 206 198 374 310 362 318 386 358 330 278 210 298 282 122 98 [321] 34 26 174 142 46 6 62 118 190 202 114 322 286 38 242 394 342 266 162 130 30 182 2 74 314 290 246 194 170 126 158 378 [353] 350 254 226 214 70 18 10 366 354 186 150 86 306 102 338 346 134 250 138 94 78 390 274 58 42 258 66 90 146 370 222 218 [385] 326 82 110 270 334 178 166 398 22 50 238 106 154 302 230 54
并且 'plot' 生成了一个可达性图，我无法 post 因为这是我在 StackExchange 上的第一个问题......但是如果你 运行 R 代码你轻松搞定
这是对您的数据集进行重新排序（排列），使得附近的点通常顺序接近。
R包中有详细说明。
library("dbscan")
vignette("dbscan")
参见第 2.2 节。光学：确定聚类结构的排序点
OPTICS provides an augmented ordering. The algorithm starting with a point and expands it’s neighborhood like DBSCAN, but it explores the new point in the order of lowest to highest core-distance. The order in which the points are explored along with each point’s core- and reachability-distance is the final result of the algorithm.
我一直在为同样的问题而苦苦挣扎，经过一些研究，我想我终于明白了它是如何工作的。
基本思路：
我现在补充一下维基百科提供的pseudocode，我评论解释一下：
OPTICS(DB, eps, MinPts)
for each point p of DB
p.reachability-distance = UNDEFINED
for each unprocessed point p of DB
N = getNeighbors(p, eps)
mark p as processed
output p to the ordered list # ordered list = final result
# if p is a core point (has at least minPts in the specified radius)
if (core-distance(p, eps, Minpts) != UNDEFINED)
Seeds = empty priority queue
# update the reachability-distance for every neighbour
update(N, p, Seeds, eps, Minpts)
# seeds will have the neighbours wich reachability-distance was updated
# with the selected core point
for each next q in Seeds
N' = getNeighbors(q, eps)
mark q as processed
output q to the ordered list # ordered list = final result
# if the neighbor is a core point, grow the cluster as DBSCAN does
if (core-distance(q, eps, Minpts) != UNDEFINED)
update(N', q, Seeds, eps, Minpts)
update(N, p, Seeds, eps, MinPts)
coredist = core-distance(p, eps, MinPts)
# for every neighbor
for each o in N
if (o is not processed)
new-reach-dist = max(coredist, dist(p,o))
if (o.reachability-distance == UNDEFINED) // o is not in Seeds
o.reachability-distance = new-reach-dist
Seeds.insert(o, new-reach-dist)
else // o in Seeds, check for improvement
if (new-reach-dist < o.reachability-distance)
o.reachability-distance = new-reach-dist
Seeds.move-up(o, new-reach-dist)
从该伪代码中，我得到以下信息：
- 您将需要一个有序列表（以表示可达性图）
- 集群将像在 DBSCAN 算法中那样增长
- 与 DBSCAN 的不同之处在于，现在，当您获得核心点的邻域时，您必须为每个邻域计算所谓的 可达距离；如果邻居没有，就保存你得到的那个点，然后把那个点放在有序列表中核心点的旁边；如果已经有一个，则将旧的与处理核心点时获得的那个进行比较，然后选择较小的那个。如果那个恰好是新的，则必须在有序列表中进行更新以容纳靠近核心点的点。
可达距离
现在，了解什么是可达距离至关重要。此外，从 Wikipedia，我们有：
据我所知，可达距离 是每个点到其最近的核心点的距离。
可达性图中山谷和尖峰的含义
如果我们看一下伪代码，现在就很清楚了：当一个点的最终可达距离超大时，说明该点离最近的核心点很远，所以不'属于任何集群。这就是为什么可达性图中的尖峰表示集群之间的分离......这些尖峰代表异常值。事实上，离群点是那些可达距离大于指定 epsilon 的点（它们不在任何核心点邻域内）。
至于为什么山谷代表集群，那必须与集群的生长方式有关；记住 DBSCAN 是如何工作的，在一连串直接连接的核心点之后增长一个集群......使用 OPTICS 是一样的，同时考虑到我们跟踪我们添加到当前集群的每个点的可达距离。想一想集群的形成方式以理解山谷的含义。