Конспект

Анализ данных и кластеризация

Проверка данных, выделение кластеров, расстояния и способы выбора центра.

На экзамене

Задание 27. Нужно прочитать данные, обосновать разбиение на группы, вычислить центры и сформировать ответ по условию.

d(A,B)=\sqrt{(x_1-x_2)^2+(y_1-y_2)^2}

Для сравнения отдельных расстояний можно сравнивать их квадраты. Для суммы или среднего нужны сами расстояния.

Центр	Правило	Обязан быть точкой набора
Центроид	Средние значения координат	Нет
Минимальная сумма расстояний	Проверить сумму для каждой точки кластера	Да
Минимальное максимальное расстояние	Сравнить самое дальнее расстояние каждого кандидата	Да

\bar{x}=\frac{1}{m}\sum_{i=1}^{m}x_i,\qquad \bar{y}=\frac{1}{m}\sum_{i=1}^{m}y_i D(P)=\sum_{Q \in C}d(P,Q)

При пороге R точки соединяются, если расстояние не больше R; кластеры могут быть связными компонентами.
Связность по цепочке не требует, чтобы каждая пара точек кластера была ближе R.
Масштабирование и округление выполняются после вычисления итоговой характеристики.

Проверь формат каждой строки, число столбцов и десятичный разделитель.
Не удаляй дубликаты и выбросы без правила из условия.
Построй диаграмму рассеяния или оцени диапазоны признаков.
Сформулируй числовой критерий группировки и распредели каждую точку ровно в один кластер.
Проверь число кластеров, размеры групп и правила обработки шума.
Найди центр каждого кластера по точному определению из условия.
Вычисли итоговую характеристику, затем примени масштаб и правило округления.
Проверь алгоритм на маленьком наборе вручную.

Путают: выброс и ошибочную запись. Сверь: удаляй точку только по заданному критерию.
Путают: визуальную группу и формальный кластер. Сверь: запиши проверяемое числовое правило.
Путают: заданный центр и центроид. Сверь: выясни, должен ли центр входить в набор.
Путают: расстояние и его квадрат. Сверь: корень можно убрать только при сравнении.
Путают: округление промежуточных и итоговых значений. Сверь: сохраняй точность до последнего шага.