О статистике | Среднее или медиана, дисперсия и нормальное распределение

Среднее или медиана?

Среднее складывает все значения и делит на их количество. Медиана - это середина упорядоченного списка. Для симметричных данных они почти равны, но несколько крайних значений тянут среднее за собой, а медиана почти не меняется. Поэтому доходы и цены на жильё обычно приводят медианой: один миллиардер поднимает средний доход деревни, но не медиану.

Дисперсия и стандартное отклонение

Два класса могут иметь одинаковый средний балл, хотя один гораздо неоднороднее. Дисперсия измеряет этот разброс: берут отклонение каждого значения от среднего, возводят в квадрат, чтобы отрицательные и положительные отклонения не гасили друг друга, и усредняют квадраты. Поскольку квадрат меняет единицы (сантиметры становятся квадратными сантиметрами), обычно извлекают корень. Это стандартное отклонение, типичное расстояние от среднего в исходных единицах.

Выборка или совокупность: почему n - 1?

Если ваши числа - вся группа, делите сумму квадратов на n: это дисперсия генеральной совокупности. Но обычно числа - выборка, и нужно оценить разброс большей группы. Собственное среднее выборки всегда подходит к ней лучше всего, поэтому отклонения получаются чуть заниженными. Деление на n - 1 вместо n, поправка Бесселя, это компенсирует. Для больших выборок разница мала, для пяти значений она составляет 25 процентов.

Гаусс и нормальное распределение

Около 1809 года Карл Фридрих Гаусс описал ошибки астрономических измерений колоколообразной кривой. Нормальное распределение возникает, когда складывается множество мелких независимых влияний, как у роста, ошибок измерения и экзаменационных баллов. Оно полностью задаётся средним и стандартным отклонением: около 68 процентов значений лежат в пределах одного стандартного отклонения от среднего, 95 процентов в пределах двух и 99,7 процента в пределах трёх. Если гистограмма похожа на колокол, эти правила работают.

Часто задаваемые вопросы

Что такое выброс?

По распространённому правилу значение считается выбросом, если оно лежит ниже Q1 или выше Q3 более чем на 1,5 межквартильного размаха. На ящике с усами усы заканчиваются на последнем значении внутри этого диапазона, а всё дальше рисуется отдельными точками.

Все ли данные распределены нормально?

Нет. Время ожидания, доходы и размеры файлов обычно асимметричны, с длинным хвостом с одной стороны. Тогда среднее отходит от медианы, и правило 68-95-99,7 перестаёт работать. Сравнить среднее с медианой и посмотреть на гистограмму - быстрая первая проверка.

О чём говорит межквартильный размах?

IQR равен Q3 минус Q1, это ширина средней половины данных. Как и медиана, он не учитывает крайние значения, поэтому служит устойчивой мерой разброса для асимметричных данных или данных с выбросами, где стандартное отклонение может вводить в заблуждение.