мат стат

[MumboJumbo]

Здравствуйте. Следующий вопрос частично касается аналитической химии, поэтому задаю его здесь.

Объясните пожалуйста, почему так получается, что доверительный интервал для некоторой величины вычисляется по результатам всего лишь двух измерений (в силу различных причин: большой поток анализов, просто лени)? При этом, если посчитать доверительный интервал, то он может превосходить среднее значение. Ладно я понимаю если разброс не столь велик, но если это очевидно уже на стадиях измерения, то почему не переделывают? У людей вообще беда с предоставлением доверительных интервалов. Или они выдают все с 50% и ниже доверительной вероятностью?

Я вот тут немного запутался. Был бы признателен, если мне это кто-нить растолкует. Почему-то многие довольствуются тем, что вычисляют в экселе стандарное отклонение (СО) и приписывают это к среднему значению величины. Но ведь стандартное отклонение это не тоже самое, что доверительный интервал (ДИ). Необходимо еще полученное СО помножить на коэффициент Стьюдента и разделит на корень квадратный из n измерений. По-крайней мере меня так учили.

Заранее спасибо за ответ.

[VTur]

Это если инструментальные погрешности много меньше доверительного интервала

[ Post made via Android ]

[MumboJumbo]

я хочу понять, почему так считают? почему рассчитывают доверительный интервал всего лишь по двух измерениям, и почему считают только стандартное отклонение, подменяя им доверительный интервал?

[VTur]

стандартное отклонение тоже доверительный интервал, но при доверительной вероятности около 60%. Можеосчитать хоть при одном измерении, если уверены, что приборная погрешность больше случайной

[ Post made via Android ]

[amge]

При этом, если посчитать доверительный интервал, то он может превосходить среднее значение.

Ну и что. Например, если образец вовсе не содержит анализируемого вещества, то любой другой результат был бы ошибочным.

[chemistryandron]

Здравствуйте. Следующий вопрос частично касается аналитической химии, поэтому задаю его здесь.Объясните пожалуйста, почему так получается, что доверительный интервал для некоторой величины вычисляется по результатам всего лишь двух измерений (в силу различных причин: большой поток анализов, просто лени)? При этом, если посчитать доверительный интервал, то он может превосходить среднее значение. Ладно я понимаю если разброс не столь велик, но если это очевидно уже на стадиях измерения, то почему не переделывают? У людей вообще беда с предоставлением доверительных интервалов. Или они выдают все с 50% и ниже доверительной вероятностью? Я вот тут немного запутался. Был бы признателен, если мне это кто-нить растолкует. Почему-то многие довольствуются тем, что вычисляют в экселе стандарное отклонение (СО) и приписывают это к среднему значению величины. Но ведь стандартное отклонение это не тоже самое, что доверительный интервал (ДИ). Необходимо еще полученное СО помножить на коэффициент Стьюдента и разделит на корень квадратный из n измерений. По-крайней мере меня так учили.Заранее спасибо за ответ.

А можно ссылку на источник, откуда взято, что статистику по двум значениям считают? Да и где так считают ДИ: статья, диссертация или др.? Неоднократно слышал и встречал, не скажу, что не правильный, а скорее, странный расчет ДИ. Здесь прозвучали ответы на Ваш вопрос. Скажу немного и я. ДИ-это интервал, внутри которого с заданной доверительной вероятностью может находится истинное значение. Во всех учебниках по статистике можно найти расчетные формулы для оценки положения доверительных границ для среднего значения и единичного значения. В расчетах для среднего значения фигурирует стандартная ошибка среднего (в расчетах, для единичного значения N=1). Из формул видно, что отличие будет заключаться, что доверительный интервал для единичного значения будет в √N раз шире, чем для среднего.
Как было сказано выше про 60% (скорее всего, имелось в виду 68%), единичный результат измерения в 68% случаев попадает в интервал ±1×σ. Но данный вывод справедлив лишь для бесконечной серии измерений.
Про доверительную вероятность. В литературе видел, следующее определение ДИ. ДИ-это интервал значений в пределах которого с доверительной вероятностью 95% находится истинное среднее (генеральное среднее). Хотя это не очень строгое определение, да и из литературы по мед. статистике.

Для малого количества измерений (например, 2) используют непараметрические методы расчета статистики.

Про непараметрику. Если честно, не особо ее встречал в публикациях по химии. Все они базируются на том, что они не базируются на допущениях о распределении. Сейчас слышу о вопросах, по применению непараметрических тестов (наподобие, "обоснуйте, почему Вы решили проанализировать свои данные с помощью данного (непараметрического) теста"). Если есть ссылки на работы по применению непараметрики в химии сбросьте, пожалуйста.

[chemistryandron]

chemistryandron Сходу не скажу, специально искать лень. Непараметрическими функциями чаще биологи пользуются, у которых вечные проблемы с недостаточным количеством измерений, либо с плохо вписывающимися в гауссово и пуансоновское распределения данными. Я сам не особо жалую непараметрическую статистику - сложно, часто путано и не совсем понятно что и как там считается, когда какой вид анализа применять - знаю что есть такое и что в самых тяжелых случаях может спасти.

Не особо спасает порой. На дополнительные вопросы можно попасть только (тех, кто тоже не жалует непараметрику).

Про доверительную вероятность. В литературе видел, следующее определение ДИ. ДИ-это интервал значений в пределах которого с доверительной вероятностью 95% находится истинное среднее (генеральное среднее). Хотя это не очень строгое определение, да и из литературы по мед. статистике.

Доверительная вероятность 95% берется по умолчанию, но это не значит что она всегда такова - там есть некая зависимость от количества измерений.

Согласен с Вами. Я просто и хотел сказать, что 95% для доверительной вероятности чаще берется в публикациях (которые я видел) и, конечно, можно вычислить другие ДИ, например 99 %.

[chemistryandron]

С такой вероятностью Вы получите гораздо больше вопросов и гораздо более серьезных, чем с непараметрикой.

Вы правы. При использовании 99% ДИ для среднего, мы получим более широкий ДИ, чем в случае 95%. Поэтому в очередной раз убеждаюсь, анализ данных-это искусство.

[chemistryandron]

Неа, тут дело в другом - доверительная вероятность в 99% указывает на то, что Ваши измерения [практически] идеальны, Вы в них абсолютно уверены и получаемые величины имеют почти нулевую погрешность. А вот теперь попробуйте объяснить вопрошающему как это Вы так умудрились померить, скажем, массу навески, - тут уже точностью в 6-7 знаков после запятой не отделаешься.

Мы об одном и том же написали с разных сторон. Для 99% ДИ, вместо произведения СО и табличного значения, например, для t-распределения, которое соответствует двусторонней вероятности 0,05 (для 95% ДИ), СО умножают на значение, которое соответствует двусторонней вероятности 0,01. В итоге, мы получим более широкий ДИ, чем в случае 95%, т.к. он будет отражать наше "увеличенное" доверие к тому, что рассчитанный интеравал действительно включает истинное значение (в медицине и биологии, чаще, среднее популяции).

[chemistryandron]

Почти, но Вы говорите о числовых выражениях (увеличение доверительного интервала на 4% зачастую роли не сыграет), я - о физическом (или как там правильнее будет) смысле величины. В данном случае важен именно этот смысл, а не его числовое выражение - вопросы Вам задавать будут относительно того, почему Вы выбрали столь высокую доверительную вероятность. В медицине и биологии могут помидорами закидать за такую вероятность - у них порой ±50-60% доверительный интервал от среднего и "все пучком".P.S. Если Вам лень писать целиком названия стат. величин, то сокращайте их правильно - "ДИ" везде у Вас вместо "доверительного интервала" "доверительной вероятностью" является.

Начну с конца Вашего поста. Писать мне не лень. Я писал, то, что я писал: 95 % доверительный интервал и и 99% доверительный интервал. Ошибки в написанном никакой не вижу. Может данные названия при стат. обработке результатов в химии не в ходу, я не знаю, но в учебниках по медицинской статистике они широко используются. Понятно, что ДИ можно определить как диапазон значений, найденный при использовании выбранной доверительной вероятности. Просто скорее всего мы друг друга не поняли.
О роли изменения границ доверительного интервала. Опять про мед. статистику. Там верхние и нижние пределы дают оценку, будут ли результаты клинически значимы.
Насчет ±50-60%, которые Вы упомянули... Скажу только, что в медицине наиболее употребительна доверительная вероятность 95 %. А Дерффель в своем учебнике вообще писал, что в фармакологии важно сохранять высокую надежность (P=0,99), когда ошибка практически полностью исключена.

[chemistryandron]

Понятно, что ДИ можно определить как диапазон значений, найденный при использовании выбранной доверительной вероятности.

Не можно, а так он вычисляется. Вы имеете дело не с биологией, медициной или химией, а с точной математической наукой и здесь нет выражений "можно определить" - здесь есть точно определенные понятия. Простите за несколько жесткий тон, сказывается суровая школа физиков в данном вопросе.
Я не знаю что там пишут в книгах по статистике для медиков и фармацевтов, предпочитаю книги для инженеров и физиков - там гораздо все серьезнее описано. И Вам советую полистать хотя бы пособие какое по статистике для инженеров.

Стоп. Давайте не будем говорить о том, кто как применяет статистику (листая книги для инженеров и "суровой" физической школы по статистике, я особо не заметил её большей "серьезности" от всех остальных школ, по вопросам применения статистики в анализе данных). Каждый описывает практическое применение статистики в своей области (Вы же сами говорите, про школу физиков). Тут и экономисты вмешаться могут про "серьезность" их школы в вопросах статистики, так как некоторые стат. тесты специально для них разрабатывались.
Если говорить про то, что Вы прокомментировали, то я дал ОПРЕДЕЛЕНИЕ ПОНЯТИЯ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ, а не писал как он вычисляется. Ясно, что при большой доверительной вероятности, ДИ оказывается слишком широким и может захватить значения, содержащие систематическую погрешность, а при слишком малой доверительной вероятности, ДИ оказывается слишком узким, в него могут не попасть значения, не содержащие систематической погрешности (если говорить про аналитику, которую упоминал топикстартер). Поэтому обычно оптимальными считаются доверительные вероятности 90-95%. Но говоря про "широкий" и "узкий" ДИ и про точную математическу науку, не понятно, почему нельзя сказать по другому:

Для 99% ДИ, вместо произведения СО и табличного значения, например, для t-распределения, которое соответствует двусторонней вероятности 0,05 (для 95% ДИ), СО умножают на значение, которое соответствует двусторонней вероятности 0,01. В итоге, мы получим более широкий ДИ, чем в случае 95%,

В данном случае, вроде как описывается как вычисляется доверительный интервал (единственное, можно было бы вместо того, чтобы написать:

табличного значения, например, для t-распределения, которое соответствует двусторонней вероятности 0,05 (для 95% ДИ)

написать: табличное значение, например, для t-распределения Стьюдента, величина которого зависит от заданной доверительной вероятности и числа степеней свободы. Также можно сказать, что в расчетах ДИ, опять для t-распределения Стьюдента, используют tα, где α-уровень значимости (максимальная приемлемая вероятность ОШИБОЧНО признать существование различий там, где их нет). И не совсем понятно:

P.S. Если Вам лень писать целиком названия стат. величин, то сокращайте их правильно - "ДИ" везде у Вас вместо "доверительного интервала" "доверительной вероятностью" является.

как в том, что я написал вместо 95% ДИ и 99% ДИ (доверительный интервал) употреблять 95% ДВ и 99% ДВ (доверительная вероятность)?
Ясно, что доверительные интервалы используют для того, чтобы указать интервал, в котором находится некоторая величина (так как мы не знаем точно, чему она равна) с заданной вероятность. Но также доверительные интервалы можно использовать вместо обычных критериев значимости или для определения границ нормы какого-нибудь лабораторного показателя. И, соответственно, определение понятия доверительный интервал может немного отличаться от цели его практического применения.
В общем, как я понимаю, вопросы топикстартер больше не задает, значит, можно считать, что обсуждение темы закончено.

[chemistryandron]

Вы сами-то поняли что написали? как систематическая погрешность может не воити в доверительный интервал? Пренебрежимо малое значение и значение не попадающее в доверительный интервал вещи совсем разные. Первое утверждение выполняется не всегда - при увеличении количества измерений коэффициенты tα,n сближаются.

Использовал фразу из учебника по аналитике. Можете посмотреть:
Кристиан, Г. Аналитическая химия : в 2 т. / Г. Кристиан; пер. с англ. – М.: БИНОМ. Лаборатория знаний, 2009. – Т. 1. – 623 с.
Со стр. 140 по 143. Может, конечно, учебник плохой, авторы и переводчики чего-то не понимают... Дайте ссылки на то, чем Вы пользуетесь.

Ок, в Вашей литературе написано, к примеру, как вычисляется погрешность косвенного определения в общем случае? Для биологов и медиков это может быть избыточной информацией, а вот физики постоянно такие погрешности рассчитывают.

Моей литературы нет никакой. Учебники писал не я. Можете посмотреть следующие книги:
Sokal R.R., Rohlf F.J. Biometry: The principles and practice of statistics in biological research. - New York, NY: W.H. Freeman, 1995.
Zar J.H. Biostatistical analysis. - Upper Saddle River, NJ: Prentice Hall, 2010.

Доверительный интервал - диапазон значений переменной Х=<х>±Δх(полн.), в котором с заданным критерием надежности возможно нахождение истинного Х.

Ваш комментарий не совсем понятен. Это точное определение понятия "доверительный интервал"? А по нему вопросов возникнуть не может (что такое Δх(полн.), откуда берется, что имеется в виду под понятием "критерий надежности")? Дайте ссылку, откуда взято ДАННОЕ определение.

Обычно их не подписывают "95% ДИ" или "99% ДИ" - такая запись обычно означает погрешность в 95% от среднего.

Откуда это взято?

[Гесс]

Вот это называется грамотный троллинг - ТС уже и след простыл, а срач понемногу набирает обороты и готовится к переходу на личности.

[chemistryandron]

Вот это называется грамотный троллинг - ТС уже и след простыл, а срач понемногу набирает обороты и готовится к переходу на личности.

Вы правы. Продолжать тему, нет смысла.

[chemistryandron]

Использовал фразу из учебника по аналитике. Можете здесь посмотреть:
Кристиан, Г. Аналитическая химия : в 2 т. / Г. Кристиан; пер. с англ. – М.: БИНОМ. Лаборатория знаний, 2009. – Т. 1. – 623 с.
Со стр. 140 по 143.

Я правильно понимаю, что Вы о фразе в начале 143 страницы:

Для среднего значения ширина доверительного интервала непрерывно уменьшается с ростом N, поскольку при этом уменьшаются t и s/√N. Поэтому чем больше измерений вы проведете, тем более уверенно можете гарантировать, что истинное значение при отсутствии систематических погрешностей будет находиться в заданных границах или, наоборот, что эти границы будут более узкими при заданной доверительной вероятности.

?

Дайте ссылки на то, чем Вы пользуетесь.

К сожалению не могу, ибо пользуюсь лишь своей головой на протяжении всей этой беседы и иногда заглядываю в теорию вероятностей, чтобы вспомнить формулы. Учебник в плане объяснения некоторых аспектов аналитической химии действительно не лучший, наши учебники Золотова, Алексеева, Васильева (из более старых можно назвать еще Крешкова и Алимарина) гораздо предпочтительнее будут. Кристиан веселее, интереснее, новее, но... проработка деталей у него хромает, порой на обе ноги.
Вроде неплохо написан шпрингеровский хэндбук (по диагонали его как-то пробегал) - Springer Handbook of Engineering Statistics (2006) - посмотрите он тут должен быть.

Можете посмотреть учебники (если время будет):
Sokal R.R., Rohlf F.J. Biometry: The principles and practice of statistics in biological research. - New York, NY: W.H. Freeman, 1995.
Zar J.H. Biostatistical analysis. - Upper Saddle River, NJ: Prentice Hall, 2010.

Не смогу - они только в печатном варианте существуют, Вы их точно читали? Насчет избыточности я не зря написал - в книгах по аналитике практически никогда не рассматривается вариант нахождения погрешности косвенного измерения. Почему я так к ней прицепился? Потому что формула для ее нахождения является общим решением, а формула погрешности прямого измерения - частным решением.

Это точное определение понятия "доверительный интервал"? А по нему вопросов возникнуть не может (что такое Δх(полн.), откуда берется, что имеется в виду под понятием "критерий надежности")? Дайте ссылку, откуда взято ДАННОЕ определение.

Почти, я не полностью его воспроизвел и частично своими словами по памяти. Δх(полн.) - абсолютная суммарная (полная) погрешность измерения, критерий надежности - доверительная вероятность. Мне вот интересно, почему Вы так панически боитесь вопросов?
Хотите точно (там у Вас вопросов еще больше будет ):

Доверительным называют интервал (Θ*-δ, Θ*+δ), который покрывает неизвестный параметр с заданной надежностью γ (примечание еще на 2 абзаца опущено).
Надежностью (доверительной вероятностью) оценки Θ по Θ* называют вероятность γ, с которой осуществляется неравенство |Θ-Θ*|<δ

В старых обозначениях тут: Θ - истинное значение, Θ* - оценка или среднее, δ - разность между оценкой и истинным (т.е. применительно к теме разговора - погрешность).
Учебник Гмурмана по теории вероятностей и математической статистике надеюсь знаком. Вот, к слову, его и полистаите для начала.

Откуда это взято? Обратитесь хотя бы к учебникам: Петри; Гланца или Ланга.

Посмотрел книги Ланга и Петри... если Вы на них ориентировались только - мне Вас жаль. О впечатлениях я лучше промолчу.

Про фразу из Кристиана. Я про другую (на стр.142), которую буквально дословно и процитировал.
Насчет формул. Никаких вопросов нет. Все ясно .
Насчет учебников. Спасибо за рекомендации. Да, и еще. Как Вам учебник Доерфеля?
Насчет панической боязни вопросов... Воспроизведение "своими словами и по памяти" не проходит в некоторых случаях. Даже учебники (некоторые) могут не помочь (по мед. статистике понимаю, что на английском читать только надо). Нужно подтверждать свои слова из других источников (некоторые из них я написал (свое мнение Вы высказали о них без слов, правда, Гланца не упомянули)). Но это относительно того, с чем сталкивался и слышал. Пора переучиваться уже...

[chemistryandron]

Про фразу из Кристиана. Я про другую (на стр.142), которую буквально дословно и процитировал.

Нашел. Но честно не понимаю вообще к чему она и какое отношение имеет к задаче, похоже наши переводчики напортачили.

Я думал, что эта фраза к задаче отношения не имеет.

Увы, не знаю для чего и где Вам что-то подтверждать, но могу сказать что с математикой и физикой убедить довольно просто кого угодно и без учебников - говорите на языке формул, языке мат. логики, ссылайтесь на теоремы, правила и критерии, пишите уравнения и многие либо успокоятся и поверят что Вы знаете, либо поленятся выискивать ошибки в трех-четырехэтажных интегралах или дифференциалах (а возможно и матрицах с тензорами, правда, это немного из другой оперы ), либо подскажут где Вы при расчетах ошиблись, а если кто-то захочет сильно доковыряться... то тут уж мало что может спасти.К слову, если у Гмурмана что-то непонятно будет (он иногда так пишет, что "въезжаешь" только раза с 5-6) - спрашивайте, постараюсь объяснить: было время теорией вероятностей и комбинаторикой увлекался.

Всякое бывает. Спасибо за совет. В случае чего буду обращаться .
P.S. В своих "запасах" быстро удалось найти книгу Sokol'а. Если есть время и желание, можете полистать.