ВходЗначении коэффициента корреляции равном 1 связь. Корреляция значения
КУРСОВАЯ РАБОТА
Тема: Корреляционный анализ
Введение
1. Корреляционный анализ
1.1 Понятие корреляционной связи
1.2 Общая классификация корреляционных связей
1.3 Корреляционные поля и цель их построения
1.4 Этапы корреляционного анализа
1.5 Коэффициенты корреляции
1.6 Нормированный коэффициент корреляции Браве-Пирсона
1.7 Коэффициент ранговой корреляции Спирмена
1.8 Основные свойства коэффициентов корреляции
1.9 Проверка значимости коэффициентов корреляции
1.10 Критические значения коэффициента парной корреляции
2. Планирование многофакторного эксперимента
2.1 Условие задачи
2.2 Определение центр плана (основной уровень) и уровня варьирования факторов
2.3 Построение матрицы планирования
2.4 Проверка однородности дисперсии и равноточности измерения в разных сериях
2.5 Коэффициенты уравнения регрессии
2.6 Дисперсия воспроизводимости
2.7 Проверка значимости коэффициентов уравнения регрессии
2.8 Проверка адекватности уравнения регрессии
Заключение
Список литературы
ВВЕДЕНИЕ
Планирование эксперимента -математико-статистическая дисциплина, изучающая методы рациональной организации экспериментальных исследований - от оптимального выбора исследуемых факторов и определения собственно плана эксперимента в соответствии с его целью до методов анализа результатов. Начало планирования эксперимента положили труды английского статистика Р.Фишера (1935), подчеркнувшего, что рациональное планирование экспериментадаёт не менее существенный выигрыш в точности оценок, чем оптимальная обработка результатов измерений. В 60-х годах 20 века сложилась современная теория планирования эксперимента. Её методы тесно связаны с теорией приближения функций и математическим программированием. Построены оптимальные планы и исследованы их свойства для широкого класса моделей.
Планирование эксперимента – выбор плана эксперимента, удовлетворяющего заданным требованиям, совокупность действий направленных на разработку стратегии экспериментирования (от получения априорной информации до получения работоспособной математической модели или определения оптимальных условий). Это целенаправленное управление экспериментом, реализуемое в условиях неполного знания механизма изучаемого явления.
В процессе измерений, последующей обработки данных, а также формализации результатов в виде математической модели, возникают погрешности и теряется часть информации, содержащейся в исходных данных. Применение методов планирования эксперимента позволяет определить погрешность математической модели и судить о ее адекватности. Если точность модели оказывается недостаточной, то применение методов планирования эксперимента позволяет модернизировать математическую модель с проведением дополнительных опытов без потери предыдущей информации и с минимальными затратами.
Цель планирования эксперимента – нахождение таких условий и правил проведения опытов при которых удается получить надежную и достоверную информацию об объекте с наименьшей затратой труда, а также представить эту информацию в компактной и удобной форме с количественной оценкой точности.
Среди основных методов планирования, применяемых на разных этапах исследования, используют:
Планирование отсеивающего эксперимента, основное значение которого выделение из всей совокупности факторов группы существенных факторов, подлежащих дальнейшему детальному изучению;
Планирование эксперимента для дисперсионного анализа, т.е. составление планов для объектов с качественными факторами;
Планирование регрессионного эксперимента, позволяющего получать регрессионные модели (полиномиальные и иные);
Планирование экстремального эксперимента, в котором главная задача – экспериментальная оптимизация объекта исследования;
Планирование при изучении динамических процессов и т.д.
Целью изучения дисциплины является подготовка студентов к производственно-технической деятельности по специальности с применением методов теории планирования и современных информационных технологий.
Задачи дисциплины: изучение современных методов планирования, организации и оптимизации научного и промышленного эксперимента, проведения экспериментов и обработки полученных результатов.
1. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ
1.1 Понятие корреляционной связи
Исследователя нередко интересует, как связаны между собой две или большее количество переменных в одной или нескольких изучаемых выборках. Например, может ли рост влиять на вес человека или может ли давление влиять на качество продукции?
Такого рода зависимость между переменными величинами называется корреляционной, или корреляцией. Корреляционная связь - это согласованное изменение двух признаков, отражающее тот факт, что изменчивость одного признака находится в соответствии с изменчивостью другого.
Известно, например, что в среднем между ростом людей и их весом наблюдается положительная связь, и такая, что чем больше рост, тем больше вес человека. Однако из этого правила имеются исключения, когда относительно низкие люди имеют избыточный вес, и, наоборот, астеники, при высоком росте имеют малый вес. Причиной подобных исключений является то, что каждый биологический, физиологический или психологический признак определяется воздействием многих факторов: средовых, генетических, социальных, экологических и т.д.
Корреляционные связи - это вероятностные изменения, которые можно изучать только на представительных выборках методами математической статистики. Оба термина - корреляционная связь и корреляционная зависимость - часто используются как синонимы. Зависимость подразумевает влияние, связь - любые согласованные изменения, которые могут объясняться сотнями причин. Корреляционные связи не могут рассматриваться как свидетельство причинно-следственной зависимости, они свидетельствуют лишь о том, что изменениям одного признака, как правило, сопутствуют определенные изменения другого.
Корреляционная зависимость - это изменения, которые вносят значения одного признака в вероятность появления разных значений другого признака.
Задача корреляционного анализа сводится к установлению направления (положительное или отрицательное) и формы (линейная, нелинейная) связи между варьирующими признаками, измерению ее тесноты, и, наконец, к проверке уровня значимости полученных коэффициентов корреляции.
Корреляционные связи различаютсяпо форме, направлению и степени (силе).
По форме корреляционная связь может быть прямолинейной или криволинейной. Прямолинейной может быть, например, связь между количеством тренировок на тренажере и количеством правильно решаемых задач в контрольной сессии. Криволинейной может быть, например, связь между уровнем мотивации и эффективностью выполнения задачи (рисунок 1). При повышении мотивации эффективность выполнения задачи сначала возрастает, затем достигается оптимальный уровень мотивации, которому соответствует максимальная эффективность выполнения задачи; дальнейшему повышению мотивации сопутствует уже снижение эффективности.
Рисунок 1 - Связь между эффективностью решения задачи и силой мотивационной тенденции
По направлению корреляционная связь может быть положительной ("прямой") и отрицательной ("обратной"). При положительной прямолинейной корреляции более высоким значениям одного признака соответствуют более высокие значения другого, а более низким значениям одного признака - низкие значения другого (рисунок 2). При отрицательной корреляции соотношения обратные (рисунок 3). При положительной корреляции коэффициент корреляции имеет положительный знак, при отрицательной корреляции - отрицательный знак.
Рисунок 2 – Прямая корреляция
Рисунок 3 – Обратная корреляция
Рисунок 4 – Отсутствие корреляции
Степень, сила или теснота корреляционной связи определяется по величине коэффициента корреляции. Сила связи не зависит от ее направленности и определяется по абсолютному значению коэффициента корреляции.
1.2 Общая классификация корреляционных связей
В зависимости от коэффициента корреляции различают следующие корреляционные связи:
Сильная, или тесная при коэффициенте корреляции r>0,70;
Средняя (при 0,50 Умеренная (при 0,30 Слабая (при 0,20 Очень слабая (при r<0,19). 1.3 Корреляционные поля и цель их построения
Корреляция изучается на основании экспериментальных данных, представляющих собой измеренные значения (x i , y i) двух признаков. Если экспериментальных данных немного, то двумерное эмпирическое распределение представляется в виде двойного ряда значений x i и y i . При этом корреляционную зависимость между признаками можно описывать разными способами. Соответствие между аргументом и функцией может быть задано таблицей, формулой, графиком и т. д. Корреляционный анализ, как и другие статистические методы, основан на использовании вероятностных моделей, описывающих поведение исследуемых признаков в некоторой генеральной совокупности, из которой получены экспериментальные значения x i и y i . Когда исследуется корреляция между количественными признаками, значения которых можно точно измерить в единицах метрических шкал (метры, секунды, килограммы и т.д.), то очень часто принимается модель двумерной нормально распределенной генеральной совокупности. Такая модель отображает зависимость между переменными величинами x i и y i графически в виде геометрического места точек в системе прямоугольных координат. Эту графическую зависимость называются также диаграммой рассеивания или корреляционным полем. 7.3.1. Коэффициенты корреляции и детерминации.
Можно количественно определить тесноту связи
между факторами и ее направленность
(прямую или обратную), вычислив: 1) если нужно определить носящую линейный характер взаимосвязь между двумя факторами, - парный коэффициент
корреляции
: в 7.3.2 и 7.3.3 рассмотрены операции вычисления парного линейного коэффициента корреляции по Бравэ–Пирсону (r
) и парного рангового коэффициента корреляции по Спирмену (r
); 2) если мы хотим определить взаимосвязь между двумя факторами, но зависимость эта явно нелинейная - то корреляционное отношение
; 3) если мы хотим, определить связь между одним фактором и некоторой совокупностью других факторов - то
(или, что то же самое, «коэффициент множественной корреляции»); 4) если мы хотим выявить изолированно связь одного фактора только с конкретным другим, входящим в группу факторов, воздействующих на первый, для чего приходится считать влияние всех остальных факторов неизменным - то частный (парциальный) коэффициент корреляции
. Любой коэффициент корреляции (r, r) не может по абсолютной величине превышать 1, то есть –1 < r (r) < 1). Если получено значение 1, то это значит, что рассматриваемая зависимость не статистическая, а функциональная, если 0 - корреляции нет вообще. Знак при коэффициенте корреляции определяет направленность связи: знак «+» (либо отсутствие знака) означает, что связь прямая
(положительная
), знак «–» - что связь обратная
(отрицательная
). К тесноте связи знак никакого отношения не имеет Коэффициент корреляции характеризует статистическую взаимосвязь. Но часто нужно определить другого типа зависимость, а именно: каков вклад некоторого фактора в формирование другого связанного с ним фактора. Такого рода зависимость с некоторой долей условности характеризуется коэффициентом детерминации
(D
), определяемым по формуле D
= r 2 ´100% (где r - коэффициент корреляции по Бравэ–Пирсону, см. 7.3.2). Если измерения проводились в шкале порядка (шкале рангов)
, то с некоторым ущербом для достоверности можно вместо значения r подставить в формулу значение r (коэффициента корреляции по Спирмену, см. 7.3.3). Например, если мы получили как характеристику зависимости фактора Б от фактора А коэффициент корреляции r = 0,8 или r = –0,8, то D = 0,8 2 ´100% = 64%, то есть около 2½
3. Следовательно, вклад фактора А и его изменений в формирование фактора Б составляет примерно 2½
3 от суммарного вклада всех вообще факторов. 7.3.2. Коэффициент корреляции по Бравэ-Пирсону.
Процедуру вычисления коэффициента корреляции по Бравэ–Пирсону (r
) можно применять только в тех случаях, когда связь рассматривается на базе выборок, имеющих нормальное распределение частот (нормальное распределение
) и полученных измерениями в шкалах интервалов или отношений. Расчетная формула этого коэффициента корреляции: å (x
i – )(y
i – )
r
= .
n×s x ×s y
Что показывает коэффициент корреляции? Во-первых, знак при коэффициенте корреляции показывает направленность связи, а именно: знак «–» свидетельствует о том, что связь обратная
, или отрицательная
(имеет место тенденция: с убыванием значений одного фактора соответствующие значения другого фактора растут, а с возрастанием - убывают), а отсутствие знака или знак «+» свидетельствуют о прямой
, или положительной
связи (имеет место тенденция: с увеличением значений одного фактора увеличиваются и значения другого, а с уменьшением - уменьшаются). Во-вторых, абсолютная (не зависящая от знака) величина коэффициента корреляции говорит о тесноте (силе) связи. Принято считать (в достаточной мере условно): при значениях r < 0,3 корреляция очень слабая
, нередко ее просто не принимают в расчет, при 0,3 £ r < 5 корреляция слабая
, при 0,5 £ r < 0,7) - средняя
, при 0,7 £ r £ 0,9) - сильная
и, наконец, при r > 0,9 - очень сильная.
В нашем случае (r » 0,83) связь обратная (отрицательная) и сильная. Напомним: значения коэффициента корреляции могут находиться в интервале от –1 до +1. Выход значения r за эти пределы свидетельствует о том, что в расчетах допущена ошибка
. Если r
= 1, то это значит, что связь не статистическая, а функциональная - чего в спорте, биологии, медицине практически не бывает. Хотя при небольшом количестве измерений случай ный подбор значений, дающий картину функциональной связи, возможен, но такой случай тем менее вероятен, чем больше объем сопоставляемых выборок (n), то есть количество пар сравниваемых измерений. Расчетная таблица (табл. 7,1)строится соответственно формуле. Таблица 7.1. Расчетная таблица для вычисления по Бравэ–Пирсону Поскольку s
х = ï
ï
= ï
ï»
0,42, а s
y =ï
ï»
0,32, r »
–1,24ï
(11´0,42´0,32)»
–1,24ï
1,48 »
–0,83
. Иными словами, нужно очень твердо знать, что коэффициент корреляции не может
по абсолютной величине превосходить 1,0. Это нередко позволяет избежать грубейших ошибок, точнее - найти и исправить допущенные при подсчетах ошибки. 7.3.3. Коэффициент корреляции по Спирмену
.
Как уже было сказано, применять коэффициент корреляции по Бравэ–Пирсону (r) можно только в тех случаях, когда анализируемые факторы по распределению частот близки к нормальному и значения вариант получены измерениями обязательно в шкале отношений или в шкале интервалов, что бывает, если они выражены физическими единицами. В остальных случаях находят коэффициент корреляции по Спирмену (r
). Впрочем, этот коэффициент можно
применять и в случаях, когда разрешено (и желательно!
) применять коэффициент корреляции по Бравэ-Пирсону. Но следует иметь в виду, что процедура определения коэффициента по Бравэ-Пирсону обладает большей мощностью («разрешающей
способностью
»), поэтому r
более информативен, чем r
. Даже при большом n
отклонение r
может быть порядка ±10%. Таблица 7.2 Расчетная формула коэффици- x i y i R x R y |d R | d R 2 ента корреляции по Спирмену 13,2 4,75 8,5 3,0 5,5 30,25 r
= 1 – . Вос 13,5 4,70 11,0 2,0 9,0 81,00 пользуемся нашим примером 12,7 5,10 4,5 6,5 2,0 4,00 для расчета r
, но построим 12,5 5,40 3,0 9,0 6,0 36,00 иную таблицу (табл.7.2). 13,0 5,10 6,0 6,5 0,5 0,25 Подставим значения: 13,2 5,00 8,5 4,5 4,0 16,00 r = 1– = 13,1 5,00 7,0 4,5 2,5 6,25 =1– 2538:1320 »
1–1,9 » –
0,9. 13,4 4,65 10,0 1,0 9,0 81,00 Мы видим: r
оказался немного 12,4 5,60 2,0 11,0 9,0 81,00 больше, чем r
, но это разли- 12,3 5,50 1,0 10,0 9,0 81,00 чие не очень велико. Ведь при 12,7 5,20 4,5 8,0 3,5 12,25 таком малом n
значения r
и r
åd R 2 = 423 очень уж приблизительны, мало достоверны, их действительное значение может колебаться в широких пределах, поэтому различие r
иr
в 0,1 малосущественно. Обычно
r
рассматривают как аналог
r
, но только менее точный
. Знаки при r
и r
показывает направленность связи. 7.3.4. Применение и проверка достоверности коэффициентов корреляции.
Определение степени корреляционной зависимости между факторами необходимо для управления развитием нужного нам фактора: для этого приходится влиять на другие факторы, существенно влияющие на него, и нужно знать меру их действенности. Знать про взаимосвязь факторов нужно для разработки или выбора готовых тестов: информативность теста определяется корреляцией его результатов с проявлениями интересующего нас признака или свойства. Без знания корреляций невозможны любые формы отбора. Выше было отмечено, что в спортивной и вообще педагогической, медицинской и даже экономической и социологической практике большой интерес представляет определение того вклада
, который один фактор вносит в формирование другого
. Это связано с тем, что помимо рассматриваемого фактора-причины на целевой
(интересующий нас) фактор действуют, давая каждый тот или иной вклад в него, и другие. Считается, что мерой вклада каждого фактора-причины может служить коэффициент детерминации
D i = r 2 ´100%. Так, например, если r = 0,6, т.е. связь между факторами А и Б средняя, то D = 0,6 2 ´100% = 36%. Зная, таким образом, что вклад фактора А в формирование фактора Б приблизительно 1½
3, можно, например уделять целенаправленному развитию этого фактора приблизительно 1½
3 тренировочного времени. Если же коэффициент корреляции r = 0,4 , то D = r 2 100% =16%, или примерно 1½
6 - в два с лишним раза меньше, и уделять его развитию по этой логике следует соответственно лишь 1½
6 часть тренировочного времени. Величины D i для разных существенных факторов дают приблизительное представление о количественном взаимоотношении их влияний на интересующий нас целевой фактор, ради совершенствования которого мы, собственно, и работаем над другими факторами (например, прыгун в длину с разбега работает над повышением скорости своего спринтерского бега, так как оно является тем фактором, который дает самый значительный вклад в формирование результата в прыжках). Напомним, что определяя D
можно вместо r
поставить r
, хотя, конечно, точность определения оказывается ниже. На основе выборочного
(рассчитанного по выборочным данным) коэффициента корреляции нельзя делать вывод о достоверности факта наличия связи между рассматриваемыми факторами вообще. Для того, чтобы сделать такой вывод с той или иной степенью обоснованности, используют стандартные критерии значимости корреляции
. Их применение предполагает линейную зависимость между факторами и нормальное распределение
частот в каждом из них (имея в виду не выборочное, а генеральное их представление). Можно, например, применить t-критерии Стьюдента. Его рас- четная формула: t p
= –2 ,
где k - исследуемый выборочный коэффициент корреляции, a n
- объем сопоставляемых выборок. Полученное расчетное значение t-критерия (t р)сравнивают с табличным при выбранном нами уровне значимости и числе степеней свободы n = n – 2. Чтобы избавиться от расчетной работы, можно воспользоваться специальной таблицей критических значений выборочных коэффициентов корреляции
(см. выше), соответствующих наличию достоверной связи между факторами (с учетом n
и a
). Таблица 7.3. Граничные значений достоверности выборочного коэффициента корреляции Число степеней свободы при определении коэффициентов корреляции принимают равным 2 (т.е. n
= 2) Указанные в табл. 7.3 значения имеют нижней границей доверительного интервала истинного
коэффициента корреляции 0, то есть при таких значениях нельзя утверждать, что корреляция вообще имеет место. При значении выборочного коэффициента корреляции выше указанного в таблице можно при соответствующем уровне значимости считать, что истинный коэффициент корреляции не равен нулю. Но ответ на вопрос, есть ли реальная связь между рассматриваемыми факторами, оставляет место для другого вопроса: в каком интервале лежит истинное значение
коэффициента корреляции, каким он может быть на самом деле, при бесконечно большом n
? Этот интервал для любого конкретного значения r
и n
сопоставляемых факторов можно рассчитать, но удобнее пользоваться системой графиков (номограммой
), где каждая пара кривых, построенная для не которого указанного над ними n
, соответствует границам интервала. Рис. 7.4. Доверительные границы выборочного коэффициента корреляции (a = 0,05). Каждая кривая соответствует указанному над ней n
. Обратясь к номограмме на рис. 7.4, можно определить интервал значений истинного коэффициента корреляции для вычисленных значений выборочного коэффициента корреляции при a = 0,05. 7.3.5. Корреляционные отношения.
Если парная корреляция нелинейна
, нельзя вычислять коэффициент корреляции, определяют корреляционные отношения
. Обязательное требование: признаки должны быть измерены в шкале отношений или в шкале интервалов. Можно вычислять корреляционную зависимость фактора X
от фактора Y
и корреляционную зависимость фактора Y
от фактора X
- они различаются. При небольшом объеме n
рассматриваемых выборок, представляющих факторы, для вычисления корреляционных отношений можно пользоваться формулами: корреляционное отношение h x ½ y
= ; корреляционное отношение h y ½ x
= . Здесь и - средние арифметические выборок X и Y, и - внутриклассовые
средние арифметические. Tо есть - среднее арифметическое тех значений в выборке фактора Х, с которыми сопряжены одинаковые значения
в выборке фактора Y (например, если в факторе X имеются значения 4, 6, и 5, с которыми в выборке фактора Y сопряжены 3 варианты с одинаковым значением 9, то = (4+6+5)½
3 = 5). Соответственно - среднее арифметическое тех значений в выборке фактора Y, с которыми сопряжены одинаковые значения в выборке фактора Х. Приведем пример и проведем расчет: Х:
75 77 78 76 80 79 83 82 ; Y:
42 42 43 43 43 44 44 45 . Таблица 7.4 Расчетная таблица Следовательно, h y ½ x
= » 0,63. 7.3.6. Частные и множественный коэффициенты корреляции.
Чтобы оценить зависимость между 2-мя факторами, вычисляя коэффициенты корреляции, мы как бы по умолчанию предполагаем, что никакие другие факторы на эту зависимость никакого воздействия не оказывают. В реальности дело обстоит не так. Так, на зависимость между весом и ростом очень существенно влияют калорийность питания, величина систематической физической нагрузки, наследственность и др. Когда нужно при оценке связи между 2-мя факторами учесть существенное влияние
других факторов и в то же время как бы изолироваться от них, считая их неизменными
, вычисляют частные
(иначе - парциальные
) коэффициенты корреляции. Пример: нужно оценить парные зависимости между 3-мя существенно действующими факторами X, Y и Z. Обозначим r
XY (Z) частный (парциальный) коэффициент корреляции между факторами X и Y (при этом величину фактора Z считаем неизменной), r
ZX (Y) - частный коэффициент корреляции между факторами Z и X (при неизменном значении фактора Y), r
YZ (X) - частный коэффициент корреляции между факторами Y и Z (при неизменном значении фактора X). Используя вычисленные простые парные (по Бравэ-Пирсону) коэффициенты корреляции r
XY , r
XZ и r
YZ , м ожно вычислить частные (парциальные) коэффициенты корреляции по формулам: r XY – r
XZ ´r
YZ r
XZ – r
XY ´r
ZY r
ZY –r ZX ´r
YZ r
XY (Z) = ; r
XZ (Y) = ; r
ZY (Х) = Ö(1–r
2 XZ)(1–r
2 YZ) Ö(1– r
2 XY)(1–r
2 ZY) Ö(1–r
2 ZX)(1–r
2 YX) И частные коэффициенты корреляции могут принимать значения от –1 до +1. Возведя их в квадрат, получают соответствующие частные коэффициенты детерминации
, называемые также частными мерами определенности
(умножив на 100, выразим в %%). Частные коэффициенты корреляции больше или меньше отличаются от простых (полных) парных коэффициентов, что зависит от силы влияния на них 3-го фактора (как бы неизменного). Нулевая гипотеза (Н 0), то есть гипотеза об отсутствии связи (зависимости) между факторами X и Y, проверяется (при общем количество признаков k
) вычислением t-критерия по формуле: t
Р = r
XY (Z) ´ (n
–k) 1 ½
2 ´ (1–r
2 XY (Z)) –1 ½
2 .
Если t
Р < t
a n , гипотеза принимается (считаем, что зависимости нет), если же t
Р ³ t
a n - гипотеза опровергается, то есть считается, что зависимость действительно имеет место. t
a n берется по таблице t
-критерия Стьюдента, причем k
- количество учитываемых факторов (в нашем примере 3), число степеней свободы n
= n – 3. Другие частные коэффициенты корреляции проверяют аналогично (в формулу вместо r
XY (Z) подставляют соответственно r
XZ (Y) или r
ZY (X)). Таблица 7.5 Исходные данные Ö (1 – 0,71 2)(1 – 0,71 2) Ö (1 – 0,5)(1 – 0,5) Для оценки зависимости фактора Х от совместного действия нескольких факторов (здесь факторы Y и Z), вычисляют значения простых парных коэффициентов корреляции и, используя их, вычисляют множественный коэффициент корреляции
r
X (YZ) : Ö r
2 XY + r
2 XZ – 2r
XY ´ r
XZ ´ r
YZ r
X (YZ) = .
Ö 1 – r
2 YZ 7.2.7. Коэффициент ассоциации.
Нередко требуется количественно оценить зависимость между качественными
признаками, т.е. такими признаками, которые нельзя представить (охарактеризовать) количественно, которые неизмеримы
. Например, стоит задача выяснить, существует ли зависимость между спортивной специализацией занимающихся и такими личностными свойствами, как интравертность (направленность личности на явления собственного субъективного мира) и экстравертность (направленность личности на мир внешних объектов). Условные обозначения представим в табл. 7.6. Таблица 7.6. Очевидно, что числами, имеющимися в нашем распоряжении, здесь могут быть только частоты распределений. В таком случае вычисляют коэффициент ассоциации
(другое название «коэффициент сопряженности
»). Рассмотрим простейший случай: связь между двумя парами признаков, при этом вычисленный коэффициент сопряженности называют тетрахорическим
(см. табл.). Таблица 7.7. Вычисления производим по формуле: ad – bc 100 – 225 –123 Вычисление коэффициентов ассоциации (коэффициентов сопряжения) при большем количестве признаков связано с расчетами по аналогичной матрице соответствующего порядка. Корреляция — степень связи между 2-мя или несколькими независимыми явлениями. Корреляция бывает положительной и отрицательной. Положительная корреляция (прямая)
возникает при одновременном изменении 2-х переменных величин в одинаковых направлениях (в положительном или отрицательном). Например, взаимосвязь между количеством пользователей, приходящих на сайт из поисковой выдачи и нагрузкой на сервер: чем больше пользователей, тем больше нагрузка. Корреляция отрицательна (обратная)
, если изменение одной величины приводит противоположному изменению другой. Например, с увеличением налоговой нагрузки на компании уменьшается их прибыль. Чем больше налогов, тем меньше денег на развитие. Эффективность корреляции как статистического инструмента заключается в возможности выражения связи между двумя переменными при помощи коэффициента корреляции. Коэффициент корреляции (КК) находится в диапазоне чисел от -1 до 1. При значении КК равным 1, следует понимать, что при каждом изменении 1-й переменной происходит эквивалентное изменение 2-й переменной в том же направлении. Если значение КК равно -1, то при каждом изменении происходит эквивалентное изменение второй переменной в противоположном направлении. Чем ближе корреляция к -1 или 1, тем сильнее связь между переменными. При нулевом значении (или близким к 0) значимая связь между 2-мя переменными отсутствует или очень минимальна. Данный метод обработки статистической информации популярен в экономических, технических, социальных и других науках в виду простоты подсчета КК, простотой интерпретации результатов и отсутствия необходимости владения математикой на высоком уровне. Корреляционная зависимость отражает только взаимосвязь между переменными и не говорит о причинно-следственных связях: положительная или отрицательная корреляция между 2-мя переменными не обязательно означает, что изменение одной переменной вызывает изменение другой. Например, есть положительная корреляция между увеличением зарплаты менеджеров по продажам и качеством работы с клиентами (повышения качества обслуживания, работа с возражениями, знание положительных качеств продукта в сравнении с конкурентами) при соответствующей мотивации персонала. Увеличившийся объем продаж, а следовательно и зарплата менеджеров, вовсе не означает что менеджеры улучшили качество работы с клиентами. Вполне вероятно, что случайно поступили крупные заказы и были отгружены или отдел маркетинга увеличил рекламный бюджет или произошло еще что-то. Возможно существует некая третья переменная, влияющая на причину наличия или отсутствия корреляции. Коэффициент корреляции не рассчитывается: » Статистика При изучении корреляций
стараются установить, существует ли какая-то
связь между двумя показателями в одной выборке (например, между ростом и весом
детей или между уровнем IQ
и школьной успеваемостью) либо между двумя
различными выборками (например, при сравнении пар близнецов), и если эта связь
существует, то сопровождается ли увеличение одного показателя возрастанием
(положительная корреляция) или уменьшением (отрицательная корреляция) другого. Иными словами, корреляционный анализ помогает установить, можно ли
предсказывать возможные значения одного показателя, зная величину другого. До сих пор при анализе результатов нашего опыта по изучению действия
марихуаны мы сознательно игнорировали такой показатель, как время реакции. Между
тем было бы интересно проверить, существует ли связь между эффективностью
реакций и их быстротой. Это позволило бы, например, утверждать, что чем человек
медлительнее, тем точнее и эффективнее будут его действия и наоборот. С этой целью можно использовать два разных способа: параметрический метод
расчета коэффициента Браве-Пирсона (r) и вычисление коэффициента корреляции
рангов Спирмена (r s),
который применяется к порядковым данным, т.е. является непараметрическим.
Однако разберемся сначала в том, что такое коэффициент корреляции. Коэффициент корреляции - это величина, которая может варьировать в пределах
от +1 до -1. В случае полной положительной корреляции этот коэффициент равен
плюс 1, а при полной отрицательной - минус 1. На графике этому соответствует
прямая линия, проходящая через точки пересечения значений каждой пары данных: В случае же если эти точки не выстраиваются по прямой линии, а образуют
«облако», коэффициент корреляции по абсолютной величине становится меньше
единицы и по мере округления этого облака приближается к нулю: В случае если коэффициент корреляции равен 0, обе переменные полностью
независимы друг от друга. В гуманитарных науках корреляция считается сильной, если ее коэффициент выше
0,60; если же он превышает 0,90, то корреляция считается очень сильной. Однако
для того, чтобы можно было делать выводы о связях между переменными, большое
значение имеет объем выборки: чем выборка больше, тем достовернее величина
полученного коэффициента корреляции. Существуют таблицы с критическими
значениями коэффициента корреляции Браве-Пирсона и Спирмена для разного числа
степеней свободы (оно равно числу пар за вычетом 2, т. е. n-
2). Лишь в
том случае, если коэффициенты корреляции больше этих критических значений, они
могут считаться достоверными. Так, для того чтобы коэффициент корреляции 0,70
был достоверным, в анализ должно быть взято не меньше 8 пар данных (h
=n
-2=6) при вычислении r (см. табл. 4
в Приложении) и 7 пар данных (h
=n-2=
5)
при вычислении r s
(табл. 5 в Приложении). Хотелось бы еще раз подчеркнуть, что сущность этих двух коэффициентов
несколько различна. Отрицательный коэффициент r указывает на то, что
эффективность чаще всего тем выше, чем время реакции меньше, тогда как при
вычислении коэффициента r s
требовалось проверить, всегда ли более быстрые
испытуемые реагируют более точно, а более медленные - менее точно. Коэффициент корреляции Браве-Пирсона (r)
-
этопараметрический
показатель, для вычисления которого сравнивают средние и стандартные отклонения
результатов двух измерений. При этом используют формулу (у разных авторов она
может выглядеть по-разному) где ΣXY -
сумма произведений
данных из каждой пары; Коэффициент корреляции рангов Спирмена (r s )
- это
непараметрический показатель, с помощью которого пытаются выявить связь между
рангами соответственных величин в двух рядах измерений. Этот коэффициент рассчитывать проще, однако результаты получаются менее
точными, чем при использовании r. Это связано с тем, что при вычислении
коэффициента Спирмена используют порядок следования данных, а не их
количественные характеристики и интервалы между классами. Дело в том, что при использовании коэффициента корреляции рангов Спирмена (r s)
проверяют только, будет ли ранжирование данных для какой-либо выборки таким же,
как и в ряду других данных для этой выборки, попарно связанных с первыми
(например, будут ли одинаково «ранжироваться» студенты при прохождении ими как
психологии, так и математики, или даже при двух разных преподавателях
психологии?). Если коэффициент близок к +1, то это означает, что оба ряда
практически совпадают, а если этот коэффициент близок к -1, можно говорить о
полной обратной зависимости. Коэффициент r s
вычисляют по формуле где d
- разность между рангами сопряженных значений признаков
(независимо от ее знака), а - число пар. Обычно этот непараметрический тест используется в тех случаях, когда нужно
сделать какие-то выводы не столько об интервалах
между данными, сколько
об их рангах,
а также тогда, когда кривые распределения слишком
асимметричны и не позволяют использовать такие параметрические критерии, как
коэффициент r (в этих случаях бывает необходимо превратить количественные
данные в порядковые).
Резюме
Итак, мы рассмотрели различные параметрические и непараметрические
статистические методы, используемые в психологии. Наш обзор был весьма поверхностным, и главная задача его заключалась в том, чтобы
читатель понял, что статистика не так страшна, как кажется, и требует в основном
здравого смысла. Напоминаем, что данные «опыта», с которыми мы здесь имели
дело, - вымышленные и не могут служить основанием для каких-либо выводов. Впрочем,
подобный эксперимент стоило бы действительно провести. Поскольку для этого опыта
была выбрана сугубо классическая методика, такой же статистический анализ можно
было бы использовать во множестве различных экспериментов. В любом случае нам
кажется, что мы наметили какие-то главные направления, которые могут оказаться
полезны тем, кто не знает, с чего начать статистический анализ полученных
результатов.
Литература
Приложение Таблицы
Примечания.
1) Для больших выборок или уровня значимости меньше 0,05
следует обратиться к таблицам в пособиях по статистике. 2) Таблицы значений других непараметрических критериев можно найти в
специальных руководствах (см. библиографию). Регрессионный анализ позволяет оценить, как одна переменная зависит от другой и каков разброс значений зависимой переменной вокруг прямой, определяющей зависимость. Эти оценки и соответствующие доверительные интервалы позволяют предсказать значение зависимой переменной и определить точность этого предсказания. Результаты регрессионного анализа можно представить только в достаточно сложной цифровой или графической форме. Однако нас часто интересует не предсказание значения одной переменной по значению другой, а просто характеристика тесноты (силы) связи между ними, при этом выраженная одним числом. Эта характеристика называется коэффициентом корреляции, обычно ее обозначают буквой г. Коэффициент корреляции мо- жет принимать значения от -1 до +1. Знак коэффициента корреляции показывает направление связи (прямая или обратная), а абсолютная величина - тесноту связи. Коэффициент, равный -1, определяет столь же жесткую связь, что и равный 1. В отсутствие связи коэффициент корреляции равен нулю. На рис. 8.10 приведены примеры зависимостей и соответствующие им значения г. Мы рассмотрим два коэффициента корреляции. Коэффициент корреляции Пирсона предназначен для описания линейной связи количественных признаков; как и регресси Коэффициент ранговой корреляции Спирмена можно использовать, когда связь нелинейна-и не только для количественных, но и для порядковых признаков. Это непараметрический метод, он не требует какого-либо определенного типа распределения. О количественных, качественных и порядковых признаках мы уже говорили в гл. 5. Количественные признаки - это обычные числовые данные, такие, как рост, вес, температура. Значения количественного признака можно сравнить между собой и сказать, какое из них больше, на сколько и во сколько раз. Например, если один марсианин весит 15 г, а другой 10, то первый тяжелее второго и в полтора раза и на 5 г. Значения порядкового признака тоже можно сравнить, сказав, какое из них больше, но нельзя сказать, ни на сколько, ни во сколько раз. В медицине порядковые признаки встречаются довольно часто. Например, результаты исследования влагалищного мазка по Папаниколау оценивают по такой шкале: 1) норма, 2) легкая дисплазия, 3) умеренная дисплазия, 4) тяжелая дисплазия, 5) рак in situ. И количественные, и порядковые признаки можно расположить по порядку - на этом общем свойстве основана большая группа непараметрических критериев, к которым относится и коэффициент ранговой корреляции Спирмена. С другими непараметрическими критериями мы познакомимся в гл. 10. Коэффициент корреляции Пирсона И все же, почему для описания тесноты связи нельзя воспользоваться регрессионным анализом? В качестве меры тесноты связи можно было бы использовать остаточное стандартное отклонение. Однако если поменять местами зависимую и независимую переменные, то остаточное стандартное отклонение, как и другие показатели регрессионного анализа, будет иным. Взглянем на рис. 8.11. По известной нам выборке из 10 марсиан построены две линии регрессии. В одном случае вес - зависимая переменная, во втором - независимая. Линии регрессии заметно разли- Если поменять местами х и у, уравнение регрессии получится другим, а коэф- ■ корреляции останется прежним. чаются. Получается, что связь роста с весом одна, а веса с ростом - другая. Асимметричность регрессионного анализа - вот что мешает непосредственно использовать его для характеристики силы связи. Коэффициент корреляции, хотя его идея вытекает из регрессионного анализа, свободен от этого недостатка. Приводим формулу. r Y(X - X)(Y - Y) &((- X) S(y - Y)2" где X и Y - средние значения переменных X и Y. Выражение для r «симметрично» -поменяв местами Xи Y, мы получим ту же величину. Коэффициент корреляции принимает значения от -1 до +1. Чем теснее связь, тем больше абсолютная величина коэффициента корреляции. Знак показывает направление связи. При r > 0 говорят о прямой корреляции (с увеличением одной переменной другая также возрастает), при r Возьмем пример с 10 марсианами, который мы уже рассматривали с точки зрения регрессионного анализа. Вычислим коэффициент корреляции. Исходные данные и промежуточные результаты вычислений приведены в табл. 8.3. Объем выборки n = 10, средний рост X = £ X/n = 369/10 = 36,9 и вес Y = £ Y/n = 103,8/10 = 10,38. Находим Щ- X)(Y- Y) = 99,9, Щ- X)2 = 224,8, £(Y - Y)2 = 51,9. Подставим полученные значения в формулу для коэффициента корреляции: 224,8 х 51,9 ’ " Величина r близка к 1, что говорит о тесной связи роста и веса. Чтобы лучше представить себе, какой коэффициент корреляции следует считать большим, а какой незначительным, взгляни- те на табл. 8.4 - в ней приведены коэффициенты корреляции для примеров, которые мы разбирали ранее. Связь регрессии и корреляции Все примеры коэффициентов корреляции (табл. 8.4) мы первоначально использовали для построения линий регрессии. Действительно, между коэффициентом корреляции и параметрами регрессионного анализа существует тесная связь, которую мы сейчас продемонстрируем. Разные способы представления коэффициента корреляции, которые мы при этом получим, позволят лучше понять смысл этого показателя. Вспомним, что уравнение регрессии строится так, чтобы минимизировать сумму квадратов отклонений от линии регрессии. Обозначим эту минимальную сумму квадратов S (эту величину называют остаточной суммой квадратов). Сумму квадратов отклонений значений зависимой переменной Y от ее среднего Y обозначим S^. Тогда: Величина г2 называется коэффициентом детерминации - это просто квадрат коэффициента корреляции. Коэффициент детерминации показывает силу связи, но не ее направленность. Из приведенной формулы видно, что если значения зависимой переменной лежат на прямой регрессии, то S = 0, и тем самым r = +1 или r = -1, то есть существует линейная связь зависимой и независимой переменной. По любому значению независимой переменной можно совершенно точно предсказать значение зависимой переменной. Напротив, если переменные вообще не связаны между собой, то Soci = SofSisi Тогда r = 0. Видно также, что коэффициент детерминации равен той доле общей дисперсии S^, которая обусловлена или, как говорят, объясняется линейной регрессией. Остаточная сумма квадратов S связана с остаточной дисперсией s2y\x соотношением Socj = (п - 2) s^, а общая сумма квадратов S^ с дисперсией s2 соотношением S^ = (п - 1)s2 . В таком случае r2 = 1 _ n _ 2 sy\x п _1 sy Эта формула позволяет судить о зависимости коэффициента корреляции от доли остаточной дисперсии в полной дисперсии six/s2y Чем эта доля меньше, тем больше (по абсолютной величине) коэффициент корреляции, и наоборот. Мы убедились, что коэффициент корреляции отражает тесноту линейной связи переменных. Однако если речь идет о предсказании значения одной переменной по значению другой, на где b - коэффициент наклона прямой регрессии, sx и sY - стандартные отклонения переменных. Если не брать во внимание случай sx = 0, то коэффициент корреляции равен нулю тогда и только тогда, когда b = 0. Этим фактом мы сейчас и воспользуемся для оценки статистической значимости корреляции. Статистическая значимость корреляции Поскольку из b = 0 следует г = 0, гипотеза об отсутствии корреляции равнозначна гипотезе о нулевом наклоне прямой регрессии. Поэтому для оценки статистической значимости корреляции можно воспользоваться уже известной нам формулой для оценки статистической значимости отличия b от нуля: Здесь число степеней свободы v = n - 2. Однако если коэффициент корреляции уже вычислен, удобнее воспользоваться формулой: Число степеней свободы здесь также v = п - 2. При внешнем несходстве двух формул для t, они тождественны. Действительно, из того, что Подставив значение sy^x в формулу для стандартной ошибки Животный жир и рак молочной железы В опытах на лабораторных животных показано, что высокое содержание животного жира в рационе повышает риск рака молочной железы. Наблюдается ли эта зависимость у людей? К. Кэррол собрал данные о потреблении животных жиров и смертности от рака молочной железы по 39 странам. Результат представлен на рис. 8.12А. Коэффициент корреляции между потреблением животных жиров и смертностью от рака молочной железы оказался равен 0,90. Оценим статистическую значимость корреляции. 0,90 1 - 0,902 39 - 2 Критическое значение t при числе степеней свободы v = 39 - 2 = 37 равно 3,574, то Єсть меньше полученного нами. Таким образом, при уровне значимости 0,001 можно утверждать, что существует корреляция между потреблением животных жиров и смертностью от рака молочной железы. Теперь проверим, связана ли смертность с потреблением растительных жиров? Соответствующие данные приведены на рис. 8.12Б. Коэффициент корреляции равен 0,15. Тогда 1 - 0,152 39 - 2 Даже при уровне значимости 0,10 вычисленное значение t меньше критического. Корреляция статистически не значима.
Данная модель двумерного нормального распределения (корреляционное поле) позволяет дать наглядную графическую интерпретацию коэффициента корреляции, т.к. распределение в совокупности зависит от пяти параметров: μ x , μ y – средние значения (математические ожидания); σ x ,σ y – стандартные отклонения случайных величин Х и Y и р – коэффициент корреляции, который является мерой связи между случайными величинами Х и Y.
Если р = 0, то значения, x i , y i , полученные из двумерной нормальной совокупности, располагаются на графике в координатах х, у в пределах области, ограниченной окружностью (рисунок 5, а). В этом случае между случайными величинами Х и Y отсутствует корреляция и они называются некоррелированными. Для двумерного нормального распределения некоррелированность означает одновременно и независимость случайных величин Х и Y. x i
y i
(x
i – )
(x
i – ) 2
(y
i – )
(y
i – ) 2
(x
i – )(y
i – )
13,2
4,75
0,2
0,04
–0,35
0,1225
– 0,07
13,5
4,7
0,5
0,25
– 0,40
0,1600
– 0,20
12,7
5,10
– 0,3
0,09
0,00
0,0000
0,00
12,5
5,40
– 0,5
0,25
0,30
0,0900
– 0,15
13,0
5,10
0,0
0,00
0,00
0.0000
0,00
13,2
5,00
0,1
0,01
– 0,10
0,0100
– 0,02
13,1
5,00
0,1
0,01
– 0,10
0,0100
– 0,01
13,4
4,65
0,4
0,16
– 0,45
0,2025
– 0,18
12,4
5,60
– 0,6
0,36
0,50
0,2500
– 0,30
12,3
5,50
– 0,7
0,49
0,40
0,1600
– 0,28
12,7
5,20
–0,3
0,09
0,10
0,0100
– 0,03
åx i =137
=13,00
åy i =56,1
=5,1
å(x
i – ) 2 = =1,78
å(y
i – ) 2 = = 1,015
å(x
i – )(y
i – )= = –1,24
х i
y i
x y
х i – х
(х i – х
) 2
х i – х y
(x i
– x y
) 2
–4
–1
–2
–3
–2
–1
–3
x=79
y=43
S=76
S=28
X (лет)
Y (раз)
Z (раз)
X (лет)
Y (раз)
Z (раз)
Признак 1
Признак 2
Интравертность
Экстравертность
Спортивные игры
а
b
Гимнастика
с
d
а =20
b = 15
a
+ b
= 35
с =15
d = 5
c
+ d
= 20
a
+ c
= 35
b
+ d
= 20
n
= 55
Статистика и обработка данных в психологии
(продолжение)Корреляционный анализ
Коэффициент корреляции
n-число пар;
X
- средняя для данных переменной X;
Y
-
средняя для данных
переменной Y
S x -
стандартное отклонение для
распределения х;
S y -
стандартное отклонение для распределения у
Таблица 1. Значения критерия t
Стьюдента
h
0,05
1
6,31
2
2,92
3
2,35
4
2,13
5
2,02
6
1,94
7
1,90
8
1,86
9
1,83
10
1,81
11
1,80
12
1,78
13
1,77
14
1,76
15
1,75
16
1,75
17
1,74
18
1,73
19
1,73
20
1,73
21
1,72
22
1,72
23
1,71
24
1,71
25
1,71
26
1,71
27
1,70
28
1,70
29
1,70
30
1,70
40
1,68
¥
1,65
Таблица 2. Значения критерия
χ 2
h
0,05
1
3,84
2
5,99
3
7,81
4
9,49
5
11,1
6
12,6
7
14,1
8
15,5
9
16,9
10
18,3
Таблица 3. Достоверные значения Z
р
Z
0,05
1,64
0,01
2,33
Таблица 4. Достоверные (критические) значения r
h
=(N-2)
р=
0,05
(5%)
3
0,88
4
0,81
5
0,75
6
0,71
7
0,67
8
0,63
9
0,60
10
0,58
11
0.55
12
0,53
13
0,51
14
0,50
15
0,48
16
0,47
17
0,46
18
0,44
19
0,43
20
0,42
Таблица 5. Достоверные (критические) значения r s
h
=(N-2)
р
=
0,05
2
1,000
3
0,900
4
0,829
5
0,714
6
0,643
7
0,600
8
0,564
10
0,506
12
0,456
14
0,425
16
0,399
18
0,377
20
0,359
22
0,343
24
0,329
26
0,317
28
0,306
онный анализ, он требует нормальности распределения. Когда говорят просто о «коэффициенте корреляции», почти всегда имеют в виду коэффициент корреляции Пирсона, именно так мы и будем поступать.
20
Таблица 8.3. Вычисление коэффициента корреляции
X
Y
X -X
Y-Y (X -X)(Y-Y)
(X -X)2
(Y-Y)2
31
7,8
-5,9
-2,6
15,3
34,8
6,8
32
8,3
-4,9
-2,1
10,3
24,0
4,4
33
7,6
-3,9
-2,8
10,9
15,2
7,8
34
9,1
-2,9
-1,3
3,8
8,4
1,7
35
9,6
-1,9
-0,8
1,5
3,6
0,6
35
9,8
-1,9
-0,6
1,1
3,6
0,4
40
11,8
3,1
1,4
4,3
9,6
2,0
41
12,1
4,1
1,7
7,0
16,8
2,9
42
14,7
5,1
4,3
22,0
26,0
18,5
46
13,0
9,1
2,6
23,7
82,8
6,8
369
103,8
0,0
0,2
99,9
224,8
51,9
коэффициент корреляции не следует слишком полагаться. Например, данным на рис. 8.7 соответствует весьма высокий коэффициент корреляции (г = 0,92), однако ширина доверительной области значений показывает, что неопределенность предсказания довольно значительна. Поэтому даже при большом коэффициенте корреляции обязательно вычислите доверительную область значений.
И под конец приведем соотношение коэффициента корреляции и коэффициента наклона прямой регрессии b:
r 2 _ 1 - n_ 2 Sy]x_