Статистическая обработка данных

[TatyanaK]

То ли не нашла, то ли нет на Вашем сайте ссылок на источники (книги, сайты), в которых можно прочитать как грамотно проводить статистическую обработку экспериментальных данных(t-тест, ANOVA, хи-квадрат). А вопрос - краеугольный. От медицины до физики и химии научная ценность работы сведется практически к нулю, если такая обработка не была проведена или была проведена неграмотно. И это на фоне того, что в большинстве ВУЗов этому не учат!!! Что уж говорить о медиках, педагогах и пр., если даже я - выпускница технического ВУЗа - не припоминаю, чтобы в рамках какого-нибудь курса нас этому учили (за исключением уж совсем-совсем основ).
Вот и вышло, что "доросла" я уже до защиты (ни больше ни меньше хочу быть к.ф.-м.н!!!) и только теперь задумалась: а грамотно ли проведена в моей работе стат. обработка данных? Выполняются ли условия *применимости тестов???
Что ж сама не просветила себя в этом вопросе - спросите вы меня ехидно, тем более, что образование позоляет. Дак ведь вся работа проводилась под давлением: скорей!скорей!Штампуй новые результаты! И судя по разговорам с приятелями, такая ситуатция царит во многих лабораториях в совершенно различных областях науки. Шефья давно уж сами не ведут экспериментальной работы и просто не представляют ни трудозатрат ни временных затрат на те или иные *эксперименты, ни то, что грамотному проведению эксперимента и обработке данных надо научить для начала. И только подавай результаты! вот и смотришь быстро как это делалось твоими предшественниками и делаешь по образу и подобию. А то, что в твоем случае этот метод может оказаться неприменимым, об этом лучше не думать...

Словом, жду в свой адрес шквал тухлых яиц/гнилых помидоров и надеюсь на пару ссылок в И-нете, где можно прочитать теоретические основы статистической обработки данных. А также может, кто изучал этот вопрос, сможет порекомендовать какую из книг лучше приобрести?
На мой взгляд этой информацией хорошо бы было дополнить раздел "руководство для аспирантов">"данные"
А уж о том, что это актуально не только для аспирантов, но даже на уровне докторов наук читайте сами:
http://www.n-t.org/tp/in/dpl06.ht

[Luchano]

Тюрин, Анализ Данных на компьютере
http://www.neobook.ru/showtov.asp?Cat_id=109087
А вообще не заморачивайтесь так, запомните - статистика нужна в том случае, если ваши выводы неочевидны.

[gav]

TatyanaK
Честно говоря, удивляет слышать такие вопросы от "доросших до защиты к.ф.-м.н.".

[VesterBro]

скорей!скорей!Штампуй новые результаты!

Боже мой, понимаю, что это ужасный оффтоп, но куда же катится наша наука, господа?!!!

И судя по разговорам с приятелями, такая ситуатция царит во многих лабораториях в совершенно различных областях науки.

Ну уж нет, уважаемая, не во всех!
Да простят меня TatyanaK, уважаемый модератор и все остальные участники форума: меня просто в бешенство приводит тот факт, как много моих знакомых молодых ученых с чудесными работами не могут выйти на защиту только потому, что в их диссерах есть наноскопические недоработки, а на форуме слышишь подобное

ни больше ни меньше хочу быть к.ф.-м.н!!!

от ИМХО гораздо менее достойных будущих кандидатов...

А то, что в твоем случае этот метод может оказаться неприменимым, об этом лучше не думать...

без комментариев...

[Team_Leader]

TatyanaK
Вообще странно, что естесственнонаучников этому не учат, но вообще факт есть факт, в университетах дают глубокое, но слишком узкое образование. Как-то раз я завел речь с выпускником химфака МГУ (красный диплом), что такое пи-мюон и к-мезон. Оказалось, что химики, так глубоко ядерную физику не изучают. И вообще парадокс, и статистику им тоже не дают в полном объеме.
Ну да ладно, дело не в этом.
Для разрешения проблемы, названнойTatyanaK:

А уж о том, что это актуально не только для аспирантов, но даже на уровне докторов наук читайте сами:
http://www.n-t.org/tp/in/dpl06.htm

существует т.н. Критерий согласия Колмогорова (например: http://www.nsu.ru/mmf/tvims/chernova.../node45.html). С его помощью можно определить подходит ли то или иное распределение к описанию статистики определенной генеральной совокупности.
В принципе, идея, высказанная в статье, приведенной TatyanaK, на самом деле очевидна. Ведь действительно, испольгование t-критерия стьюдента и F-критерия Фишера возможно только в том случае, когда общее распределение результатов (распределение состояния системы) происходит по распределению стьюдента и/или фишера, которые, на самом деле, являются приближение для вычислимой формы нормального распределения. Естесственно, если статистика генеральной совокупности далека от нормального распределения, то, понятное дело, использование критериев Стьюдента и Фишера для проверки гипотез - это все равно, что рассчитывать систему по уравнению, которое на самом деле ее не описывает.
Что можно порекомендовать в Вашем случае. Сделать проверку по критерию Колмогорова на согласованность нормального распределения со статистикой данной генеральной совокупности (выборки).
Если действительно окажется, что t и F-критерии и даже хи-квадрат не применимы, тогда на самом деле стандартной методики статистической оценки гипотез не будет. Тут можно будет только ограничиться сравнением дисперсий, а если выборки неравнозначны (по объему), можно перейти к безразмерным величинам, заменив их, например коэффициентом вариации.
На самом деле, в конкретном вашем случае вопрос в другом. На самом деле ведь все используют только стандартные методики обработки статистики (о чем и сказано в статье) и никто вглубь (например - исследовать на предмет их применимости) не лезет. Если Ваша научная новизна не лежит в области исследвания методологии статистического аппарата (даже прикладного характера для конкретной области), то можно (и нужно), ограничиться только стандартной методикой. Уверяю Вас, и сами члены совета не сильно специалисты в этой узкой области. А если разрабатывать и исследовать статитстический аппарат, то это, вообще говоря отдельна я диссертация, а в одной работе нельзя объять необъятное. А тема, которую Вы затронули, дейсвительно малоизучена и никто не лишит вас степени только за то, что работая над своей биофизической темой Вы еще, попутно, не совершили великого открытия в статистике .
А Ваша идея интересная. Надо посмотреть, что из этого можно получить в экономике.
Кстати, если надо еще могу кое-что подсказать и про кореляционно-регрессионный анализ и авторегрессию.

[Paul Kellerman]

gav

Уважаемый.
Народ приходит за помощью, а не за едкими комментариями.
Такие комментарии они и так сполна получают у себя на кафедре.

Поверьте мне, вы тоже по многим вопросам еще в зачаточном
состоянии, я найду сотню областей в которых вы окажетесь
полным ламером, в том числе и в бесконечномерных пространствах.

Прекратите самоутверждаться за счет других, лучше напишите
и опубликуйте что-нибудь полезное для этого портала.

[Team_Leader]

Linx.
Думаю это треба перенести в "Диссертация". Тема Архиважная.

Добавлено

VesterBro

от ИМХО гораздо менее достойных будущих кандидатов...

Ну, тут я не согласен. Поднятя очень серьезная проблема, кстати до конца не решенная, и, вообще говоря, в рамках одной диссертации не решаемая, это проблема системная.
VesterBro, я Вас понимаю, у ваших "чудесных аспирантов" с наноскопическими недоработками, этя проблема решена полностью - ониматематику вообще не используют.
Вообще - просьба - не надо лезть в тему, когда не понимаешь, о чем речь.


Добавлено

TatyanaK

А также может, кто изучал этот вопрос, сможет порекомендовать какую из книг лучше приобрести?

Лучше всего взять базовый учебник по статистике и тер. вер. - Вентцель (хоть даже 1951 г.изд.), лучше для университетов, также можнопосмотреть Теорию статистики Шмойловой (хотя там больше для экономистов и уже адаптировано для этой специфики). Можнопосмотретьв фундаментальных работах Айвазяна.
Примеры решения задач есть в "Данко, Попов Кожевникова", не помню, какой том. Но базовая книга - Вентцель.

[TatyanaK]

Здравствуйте, всем!
1) Все тухлые яйца в свой адрес принимаю. Заслужено. Признаю, что в потоке работы серьезно над грамотностью применения методов статистики в своей работе я задумалась только сейчас. Раньше у меня этот вопрос как-то не возникал... Все же считаю, что лучше поздно (чем никогда) но просветить себя....
2) Спасибо за ссылки.
И тем не менее...
Приведенная статья по ссылке, которую я давала в конце своего первого сообщения показывает, что многие исследователи неграмотны в вопросах стат. обработки данных. Этим грешат не только аспиранты, но и доктора наук, и руководители научных коллективов (вы почитайте эту статью!). Чему же могут научить такие доктора наук своих аспирантов, если они сами (научные руководители) оказываются некомпетентными в этом вопросе? Вот такие руководители и считают - а чего тут собственно долго думать? Применяешь t-тест, получаешь ответ на вопрос. А то, что у этого t-теста есть границы применимости, надо это, во-первых, знать, во-вторых, проверять для каждого конкретного случая - дак это лежит за пределами их кругозора.
Да что тут далеко ходить! Откройте любой журнал медико-биологического профиля (не знаю, может у физиков с этим дело обстоит лучше). В скольких статьях вы найдете записи типа 26,975 плюс-минус 2,002??? В подавляющем большинстве!! (надо округлять до первой значащей цифры слева в ошибке, если эта цифра больше двух). Дак ведь это же самое элементарное! Что же говорить дальше??? Знают ли такие исследователи границы применимости того же несчастного t-теста? Сомневаюсь. Многие о существовании этого даже став докторами наук просто не задумываются.
Еще раз повторюсь, статистика, приведенная в статье по ссылке (см. мое первое сообщение) показывает, что неграмотность в стат. обработке данных - широко распространенное явление.
Посмотрите сами, даже на этом сайте, где содержится столько полезной информации, затрагивающей самые разные стороны подготовки и защиты диссертации (СПАСИБО ОРГАНИЗАТОРАМ!!!), вплоть до стилистики и психологических аспектов (я имею в виду ссылку на книгу Леви "Приручение страха&#34, даже здесь не приведена (или я не нашла?) ни одна ссылка на электронный ресурс или книгу, где дан обзор (не одного), а набора наиболее употребительных методов статистики, Т.Е. какие основные методы существуют, в чем заключается каждый из них, границы применимости.
gav и VesterBro, вы, видимо, хорошо просвещены в этом вопросе, мой вам респект (если вы им не побрезгуете, конечно)! Порекомендуйте, пожалуйста, какими книгами лучше воспользоваться. Знаю, что их существует много, но какая-то лучше, какая-то хуже. Посоветуйте, какая вам понравилось по ясности, краткости изложения (понятно, что специалистом по статистике я не собираюсь стать), чтобы каждому не приходилось все перепробовать самому.
И еще раз, для организаторов сайта, я считаю, что хорошо бы было дополнить этой информацией раздел сайта: "руководство для аспирантов">"данные".

[VesterBro]

TatyanaK
Приношу извинения за свое "тухлое яйцо", если вдруг мой пост показался кому-то излишне эмоциональным. Погорячилась...

многие исследователи неграмотны в вопросах стат. обработки данных. Этим грешат не только аспиранты, но и доктора наук, и руководители научных коллективов (вы почитайте эту статью!). Чему же могут научить такие доктора наук своих аспирантов, если они сами (научные руководители) оказываются некомпетентными в этом вопросе? Вот такие руководители и считают - а чего тут собственно долго думать? Применяешь t-тест, получаешь ответ на вопрос. А то, что у этого t-теста есть границы применимости, надо это, во-первых, знать, во-вторых, проверять для каждого конкретного случая - дак это лежит за пределами их кругозора.

Вот и я, собственно, это имела в виду. Господа, ну не делается наука "с наскока", ну не получается так никогда! Нельзя думать о применимости метода после его применения и опубликования диссертаций!

gav и VesterBro, вы, видимо, хорошо просвещены в этом вопросе, мой вам респект (если вы им не побрезгуете, конечно)!

Thanks!

Порекомендуйте, пожалуйста, какими книгами лучше воспользоваться.

А вот рекомендовать, простите, не стану, хоть и могла бы. Дабы снова не заслужить подобных комментариев в свой адрес

Вообще - просьба - не надо лезть в тему, когда не понимаешь, о чем речь.

для организаторов сайта, я считаю, что хорошо бы было дополнить этой информацией раздел сайта: "руководство для аспирантов">"данные".

Поддерживаю. Многим бы пригодилось, судя по всему.

[gav]

PavelAR

Поверьте мне, вы тоже по многим вопросам еще в зачаточном
состоянии, я найду сотню областей в которых вы окажетесь
полным ламером, в том числе и в бесконечномерных пространствах.

Как Вы можете говорить подобное, вообще не зная о том, чем занимается человек и в какой области он не "ламер"?

Лично я уверен, что любой уважающий себя к.ф.-м.н. должен в совершенстве знать методы статистической теории принятия решений, не говоря уже о том, как правильно применять критерии Стьюдента и какие критерии можно построить по распредлению "хи-квадрат".

P.S. Вы сами так и не удосужились опубликовать свою формулу насчет пересечения шаров в булевом пространстве, хотя я месяц назад Вас об этом вполне вежливо и дружелюбно просил.
Пока еще с Уважением.