Сравнение распределений

[Marxist]

Дорогие знатоки статистики, нужна небольшая консультация. Есть распределение значений некой величины для трёх выборок разного размера. По вертикальной оси -- число результатов в диапазоне, по горизонтальной оси -- значение исследуемой величины. Я хочу сказать, что данная величина для синей выборки и для фиолетовой распределена практически одинаково, максимумы почти совпадают и в этом корень зла. Могу ли я это сказать на основании данной гистограммы?

g.png

Для сравнения -- другой график, на котором максимумы достаточно чётко смещены друг относительно друга. Выборки те же, величина другая.

c.png

Можно ли сравнивать эти распределения без дополнительных уточнений, например, относительно нормальности этих распределений? Из общих соображений ясно, что у них единственный максимум, но возможно, что они несимметричны. Нужно ли применять какие-то строгие критерии (и если да, то какие) или достаточно общих рассуждений? Нужно ли нормировать по количеству результатов (синяя -- 1059, фиолетовая -- 173, зелёная -- 1386)?

[VTur]

Из рисунков, обычно, ничего понять нельзя.
Этапы (если делать честно) такие.
1. Тест на нормальность - гауссовы ли распределения?
- не нормальное. Тогда непараметрические методы, например, критерий знаков.
- допустим, нормальные. Тогда переходим к проверке гипотез. Гауссово распределение характеризуется дисперсией и мат. ожидание.
2. Задаём уровень значимости р (доверительную вероятность = 1 - р). Обычно, р = 0.05
3. Тест по Фишеру - совпадают ли выборочные дисперсии?
- а) не совпадают. Вывод: при данном уровне значимости и данных погрешностях измерений - выборки разные.
- б) совпадают. Проверяем равенство выборочных средних.
4. Тест по Стьюденту - совпадают ли выборочные средние при заданном уровне значимости?
- а) не совпадают. Вывод: при данном уровне значимости и данных погрешностях измерений - выборки разные.
- б) совпадают. Вывод: при данном уровне значимости и данных погрешностях измерений - выборки одинаковые.

[VTur]

Всегда можно подобрать такой уровень значимости, когда выборки будут совпадать (или не совпадать)

[Marxist]

Рисунок позволяет понять на качественном уровне. И качественное описание из рисунка вполне делается. Есть количественное описание с помощью ROC, но оно мне кажется недостаточным. Поэтому мне нужен критерий простой, но относительно честный, желательно не зависящий от формы распределения. Как здесь применить критерий знаков, я не очень понимаю.

Более того, даже в предположении, что они нормальные (что, естественно, не так), мне важно не показать, что они разные или одинаковые, а что в одном случае они более разные, чем в другом.

[VTur]

Вы очень проницательный человек, если по форме кривой можете определить вид распределения. Существуют десятки статистик (распределений), которые похожи на нормальное, а при при бесконечно больших выборках переходят в нормальное.

В медицине и в био (из собственного опыта) нормальное распределение крайне редко (ну, это понятно). Встречался с ним только при грубых или некачественных измерениях. С улучшением точности выборки отклонялись от нормального распределения.

[VTur]

мне нужен критерий простой, но относительно честный, желательно не зависящий от формы распределения. Как здесь применить критерий знаков, я не очень понимаю.

Выборки характеризуются или функцией распределения (плотности) вероятности, либо параметрами. Медианами, средними и т.д. Если функций нет, то сравнивают параметры. Выбирайте наиболее информативный и сравнивайте.

[Marxist]

Вы очень проницательный человек, если по форме кривой можете определить вид распределения. Существуют десятки статистик (распределений), которые похожи на нормальное, а при при бесконечно больших выборках переходят в нормальное.

Во-первых, в данном случае нормального распределения не может быть по построению. Это непрерывное распределение с единственным максимумом (возможно, размытым) и несимметричное относительно этого максимума, причём для каждой выборки параметры различаются. Во-вторых, здесь выборки не бесконечно большие, а строго заданного конечного размера, то есть оно "какое есть".

Встречался с ним только при грубых или некачественных измерениях. С улучшением точности выборки отклонялись от нормального распределения.

Ну у меня-то данные не экспериментальные, а метод не стохастический, поэтому результаты полностью воспроизводимы.

Выборки характеризуются или функцией распределения (плотности) вероятности, либо параметрами. Медианами, средними и т.д. Если функций нет, то сравнивают параметры. Выбирайте наиболее информативный и сравнивайте.

Ну вот какой параметр будет информативен в таком случае? Исходя из того, что на графиках изображено?

[VTur]

Мы говорим на разных языках. Постараюсь проиллюстрировать примером.
Допустим есть кролики и мы изучаем процентное содержание у них выхлопных газов.
Охватить генеральную совокупность, как обычно не можем. Для этого потребовалось бы поймать всех кроликов, кормит их одним и тем же и проводить большие серии опытов на газоанализаторе.
Мы будем использовать выборочные метод. Отловим партию кроликов из нашей популяции и с удовольствием всё померим. Составим выборочное распределение, например, в виде гистограммы.
Отловим другую партию кроликов и проведём то же высоконаучный метод. Составим распределение для этой партии.
Вопрос: совпадают ли распределения. Ответ по внешнему виду - нет. Средние разные, скошены по разному и т.д. И это естественно - любые измерения суть случайные числа. Но хочется же ответить на животрепещущий ворос: одинаково ли кролики пе..ят? А вот тогда проводят тот анализ, что я описал выше.

[VTur]

Во-первых, в данном случае нормального распределения не может быть по построению. Это непрерывное распределение с единственным максимумом (возможно, размытым) и несимметричное относительно этого максимума, причём для каждой выборки параметры различаются. Во-вторых, здесь выборки не бесконечно большие, а строго заданного конечного размера, то есть оно "какое есть".

Усё требует доказательств. Многие статистики можно подогнать под нормальные (даже многомодовые, несимметричные и т.д.), уменьшая уровень значимости. В статитстике бесконечные выборки есть предельный случай, на который отражают результаты по ограниченному числу измерений.

Ну у меня-то данные не экспериментальные, а метод не стохастический, поэтому результаты полностью воспроизводимы.

В теории измерений и теории ошибок любые результаты воспроизводимы в пределах погрешности. Если зависимость функциональная - то со статитстикой это имеет мало общего.

Выборки характеризуются или функцией распределения (плотности) вероятности, либо параметрами. Медианами, средними и т.д. Если функций нет, то сравнивают параметры. Выбирайте наиболее информативный и сравнивайте.

Ну вот какой параметр будет информативен в таком случае? Исходя из того, что на графиках изображено?

Это может быть что угодно, хоть площадь под огибающей кривой. Определяется из задач опыта. Вспомните, что у Вас было на спецкурсе по методике эксперимента, явно, что-то похожее преподавали, или какие-либо примеры приводили.

[Marxist]

не было у меня такого курса, был бы -- я бы не спрашивал.

Задача опыта -- показать, что в одном случае у нас критерий позволяет разделить положительные результаты и отрицательные лучше, чем в другом. Голубые -- положительные результаты, фиолетовые -- отрицательные одного сорта, зелёные -- отрицательные другого. На второй картинке можно взять пороговое значение -60, тогда отрицательных у нас почти не будет. На первой у нас в любом случае, при любом пороговом значении будет много ложноположительных результатов. Эти критерии как бы очевидны. Но хочется подкрепить это ещё какими-нибудь выкладками.

В теории измерений и теории ошибок любые результаты воспроизводимы в пределах погрешности. Если зависимость функциональная - то со статитстикой это имеет мало общего.

А это не измерения, строго говоря. Это свойства выборок. Надо сделать вывод, что по одному свойству выборки отличаются лучше, чем по другому.

[VTur]

Попробуйте перейти к относительным величинам (делить на какую-то стандартную величину). Определите доверительные интервалы. Где интервалы перекрываются, где нет. Что дает шире интервал, что уже, или перейдите к относительной погрешности.

Если Вы получаете какие-то числа, или ответы "да/нет", "больше/меньше" - это всё измерения, для них свои методики.
Это всё к теории, как правильно проводить измерения.
Возможно, спецкурс назывался как иначе, не методика эксперимента, но он должен быть. Там должны были порекомендовать учебники.

По химии я ничего порекомендовать, понятно, не могу. Наиболее простые эти. Посмотрите оглавления, может, что полезное будет.
http://lanbook.com/books/detail.php?ID=561
http://lanbook.com/books/detail.php?ID=664

[VTur]

Думаю, нужно пользоваться интегральными характеристиками. Но, к сожалению, ничего кроме, "теории распознавания образов" и "дискриминантного анализа" на ум не приходит. А я в них не силен. Попробуйте использовать "Расстояние Махаланобиса".

[Marxist]

Отцы, которых порекомендовал рецензент, обходятся предельно общей фразой:

The central limit theorem predicts that the distribution will be approximately normal for large set of actives

[VTur]

По "центральной предельной теореме" опубликованы горы томов. Да, просто наберите в поисковике "центральная предельная теорема" ...
Та фраза вырвана из контекста. В био и мед обосновать возможность её выполнения и перехода после какого-то количества опытов (при чём очень большого) к нормальному распределению крайне проблематично (если не сказать более).

Я спрашивал наших, кот. халтурят на медиков. Они о ненормальности выборок ничего медикам не говорят, шлёпают что для тех по-понятнее и имеют с этого свои гроши. И советовали поступить также. Выбирать Вам.
Или пусть академик договорится со специалистом по "теории распознавания образов". Не может быть, чтобы в МГУ их не было.