Валидность

Виды валидности

В употребление понятие «валидность» было введено Д. Кемпбеллом, который им обозначил уверенность экспериментатора в том, что с помощью определенной методики, он измеряет именно то, что хотел измерить.

Рисунок 1. Основные виды валидности. Автор24 — интернет-биржа студенческих работ

Валидность эксперимента может быть внутренней и внешней. Признак хорошего эксперимента – это высокая внутренняя валидность и, если экспериментальный эффект вызван изменением независимой переменной, то внутренняя валидность будет выше.

Внутреннюю валидность эксперимента, по мнению Кемпбелла могут нарушить несколько основных факторов:

• селекция – неэквивалентность, вызывающая систематическую ошибку в результатах;
• статистическая регрессия является частным случаем селекции;
• экспериментальный отсев при котором из группы происходит неравномерное выбывание испытуемых;
• естественное развитие – изменение испытуемых в течение времени.

Теоретическая валидность, определить которую можно по соответствиям показателей исследуемых качеств, получена с помощью созданной методики. Проверить теоретическую валидность можно путем корреляции одного и того же свойства, который измеряется различными методами.

В пределах теоретической валидности выделяют конвергентную, конструктную, эмпирическую, внутреннюю валидность.

Благоприятная ситуация использования конвергентной валидности складывается тогда, когда уже есть в психологии валидная методика, которая проверяет изучаемое качество. Если между показателями этих методик корреляция высокая, то это значит, что для новой методики характерна конвергентная валидность.

Когда для измерения какого-либо свойства тест с известной валидностью не опробирован тогда исследователь выдвигает ряд гипотез – будет ли коррелировать новый тест с другими тестами. В основе выдвигаемых гипотез лежат теоретические представления об измеряемом свойстве. Когда они подтверждаются, то это указывает на валидность выдвигаемого конструкта, т. е. конструктную валидность (предполагаемую).

Что касается эмпирической валидности, то исследователь смотрит, насколько клиент в реальной жизни ведет себя соответственно результатам исследования. Кроме этих видов существует ложная, очевидная валидность, валидность, исходящая из опыта, валидность, основанная на желаниях, валидность всех тестовых методик.

Ложная валидность фиксирует видимость пригодности методики, а очевидная валидность соответствует подлинной только в дидактических тестах и иногда действительно исследует реально существующие факты.

В основе валидности, исходящей из опыта, лежат личные чувства психолога для измерения какого-либо качества испытуемого.

Валидность, основанная на желаниях предполагает желание видеть свою методику валидной, не замечая, при этом, противоречащих этому желанию фактов. Для расчета валидности, как показывает практика, должно быть не меньше 50 человек, но, лучше больше 200.

Способы установления валидности методики

Зачастую понятие “валидность” обсуждают в контексте конкретных экспериментов или методик. Может быть при этом поставлен вопрос и о валидности в целом определенного метода (к примеру, ассессмент центра или метода тестирования). Подобные исследования проводят при помощи мета-анализа.

Существуют три главных метода установления валидности методики.

I. Оценка содержательной валидности

Содержательная валидность – степень соответствия содержания заданий методики реальной деятельности, в которой проявляют свойство, измеряемое в методике. Частным случаем содержательной валидности является так называемая очевидная (фейс или лицевая) валидность – степень соответствия методики ожиданиям оцениваемых. Для большей части методик считают важным, чтобы для участника оценки очевидна связь меж содержанием процедуры оценки и реальной деятельностью, которая является объектом оценки (семейная, профессиональная, учебная и так далее.).

II. Оценка конструктной валидности

Конструктная валидность – степень обоснованности того, что методика измеряет действительно заданные и при этом обоснованные научно конструкты. Есть, как минимум, две стратегии установления конструктной валидности.

Подход первый — «конвергентная валидизация» — проверка ожидаемой связи итогов конкретной методики с показателями прочих методик, которые измеряют сходные характеристики. К примеру, если для измерения какой-нибудь черты есть несколько методик, было бы целесообразным провести эксперименты по хотя бы двум, и тогда при выявлении высокой позитивной корреляции их итогов меж собой можно говорить о валидности. Главная цель конвергентной валидизации — определение того, будут ли оценки теста варьироваться соответственно с ожиданиями.

Подход второй — «дивергентная валидизация». Проверка валидности тут заключается в том, что тест не может измерять никакой черты, с которой он и не должен быть связан теоретически.

III. Оценка критериальной валидности

Критериальная валидность – степень соответствия внешних критериев, определенных заранее, и результатов методики, определенная статистическими методами. Подобными критериями могут быть:

• непосредственные меры исследуемого качества (такие как выраженность определенного свойства личности, степень развития способности, уровень достижения в какой-нибудь деятельности и так далее), независимые от результатов методики,
• показатели оргазизационно или социально-значимых результатов деятельности (ключевые показатели эффективности (KPI или КПЭ), устойчивость семейных отношений, успеваемость и так далее)

Одним из типов критериальной валидности является так называемая “прогностическая” валидность. Этот тип валидности применяется, когда методика призывается давать определенный прогноз поведения человека. Соответственно, когда прогноз с течением времени оправдывается, это говорит о том, что методика является валидной прогностически.

Профессиональные разработчики методик должны обосновывать все перечисленные типы валидности и проводить постоянный сбор свидетельств в пользу валидности их инструментов.

Валидность и надежность экспериментальных методов

Надежность экспериментальных методов, проведенных автором, подтверждает истинность полученных результатов. Валидность отображает степень соответствия итогов исследования к изучаемому явлению выбранной научной отрасли.

Надежность, как устойчивая составляющая достоверного эксперимента

Надежность (воспроизводимость, устойчивость результатов эксперимента) – это возможность воспроизведения полученных результатов исследования в аналогичных реальных условиях при корреляции начальных/конечных измерений.

От чего зависит надежность проводимых экспериментов?

1. Минимальная погрешность подобранного инструментария.
2. Отсутствие неконтролируемой вариативности выбранной методологии исследования.
3. Объективность исследователя.

Принципы взаимодействия валидности и надежности при выборе методов исследования

Принципы взаимодействия надежности с валидностью основываются на трех основных методах установки надежности выбранной методологической базы.

1. Метод повторяющегося эксперимента. Суть метода – это неоднократное проведение тех же самых экспериментов одинаковыми приборами и сопоставление итоговых результатов исследования в отношении рассматриваемого объекта/явления/события.
2. Метод альтернативной формы. Может выполняться в двух интерпретациях: один эксперимент применяется к нескольким группам объектов, комбинация экспериментов применяется к одному явлению.
3. Метод подвыборки. Для проведения комплексного исследования, один или несколько объектов группируются в отдельные выборки с аналогичными свойствами, характеристиками.

Основной тип валидности: внутренняя

Рассматривается как междисциплинарный, поскольку активно используется и в экспериментальной психологии, и в других науках. Вид валидности, показывающий, насколько независимая переменная влияет на зависимую. Для ее обеспечения необходимо контролировать все важные внешние факторы.

Чем выше вероятность изменения зависимой переменной от независимой, а не от каких-то других факторов, тем выше внутренняя валидность исследования. Однако невозможно с полной уверенностью утверждать, что она соблюдена в науке, особенно в психологии. Поэтому ученые при любом психологическом эксперименте могут лишь постараться минимизировать различные причины, несущие угрозу внутренней валидности.

Типы валидности

В разных источниках упоминают различные названия, что может создать определенную путаницу. В экспериментальной психологии ключевые понятия:

• Внешняя валидность
  • Конструктная валидность
  • Операциональная валидность
• Дифференциальная валидность
• Внутренняя валидность
• Экологическая валидность
• Инкрементная валидность

Для организационной психологии и психодиагностики более традиционной является классификация из трех главных типов валидности:

• Конструктная валидность
  • Дивергентная валидность
  • Конвергентная валидность
• Эмпирическая валидность (Критериальная валидность)
  • Ретроспективная валидность
  • Текущая валидность

• Содержательная валидность

Мы коротко рассмотрели валидность: типы и способы установления. Оставляйте свои комментарии или дополнения к материалу.

Виды валидности

Существует несколько видов валидности, которые рассмотрим ниже:

1. Внешняя валидность – обобщение вывода ситуации, популяции, независимых переменных. Она делится на:

• Операциональную валидность.
• Конструктную валидность – объяснение поведения человека в момент прохождения теста.

1. Внутренняя валидность – изменение в процессе эксперимента под влиянием неизменяемых факторов.
2. Дифференциальная валидность.
3. Инкрементная валидность.
4. Экологическая валидность – показатель того, что человек способен к совершению различных действий, которые в одной ситуации могут быть успешными, а в другой нет.

Данная классификация используется экспериментальной психологией. Организационной психологией и психодиагностикой используется другая классификация:

1. Конструктная валидность. Она делится на:

• Конвергентную валидность.
• Дивергентную валидность.

1. Критериальная (эмпирическая) валидность – подсчет корреляции по баллу по тесту внешнему параметру, который был выбран в качестве валидного показателя. Она делится на:

• Текущую валидность – изучение параметра в настоящем времени.
• Ретроспективную валидность – состояние или событие, которое было в прошлом.
• Прогностическую валидность – прогноз поведения, качества.

1. Содержательная валидность – используется в экспериментах, где рассматривается некоторое взаимодействие, деятельность. Имеет подвид:

Очевидная валидность.

Другими видами валидности являются:

• Априорная.
• Конгруэнтная.
• Сопутствующая.
• Конструктивная.
• Консенсусная.
• Факториальная.
• Теоретическая и пр.

Психометрические свойства методик психодиагностики

К ним относятся надежность, валидность и репрезентативность.

Надежность методики – это количественно-статистический показатель устойчивости результатов, который измеряется при помощи различных коэффициентов корреляции. Он, однако, не отвечает на вопрос, какое психическое свойство измеряется.

Такую информацию можно узнать, изучив показатель валидности

Он также измеряется при помощи коэффициентов корреляции, только принимается во внимание большее количество теоретических и практических соображений

В психологии валидность — это соответствие поставленным задачам разработанных методик и результатов их исследования.

Ее важная особенность – невозможность разового установления и использования этого доказательства конечным аргументом «за» качество методики или эксперимента. Рассматривая соответствие результатов исследования поставленным задачам, можно судить о степени валидности. Но она не измеряется ни в каких условных единицах.

Проверку репрезентативности часто сводят к нормальному распределению тестовых баллов. Но это можно считать ее частным случаем, достаточным условием, но необязательным.

На сегодняшний день психометрические характеристики рассматривают как главный признак научной обоснованности. В мировой психодиагностике это является обязательным условием для получения сертификата в национальных комиссиях по тестированию в качестве пригодной для практического использования методики.

Что такое валидность методики?

Что такое валидность методики? Это показатель, который обозначает, занимается ли рассматриваемая методика изучением того качества, характеристики, для которой она предназначена. При этом делается акцент на том, что испытуемый, который проходит тестирование, может иначе видеть и характеризовать самого себя. Вот почему не всегда результаты учитывают мнение людей, которые могут не замечать за собой определенных характеристик.

Валидизацией называется проверка валидности методики. Чтобы определить действенность, эффективность, практичность используемой методики, применяется внешний независимый показатель – качество, которое наблюдается в повседневной жизни. Здесь выделяют 4 типа внешних показателей:

1. Критерий исполнения – затраченное время, количество работы, уровень успеваемости, рост профессиональных навыков и т. д.
2. Субъективные критерии – мнение, взгляды, предпочтение, отношение испытуемого к кому- или чему-либо. Здесь применяются анкеты, интервью, опросники.
3. Физиологические критерии – влияние внешнего мира на психику и организм человека. Здесь измеряются пульс, частота дыхания, симптомы утомления и пр.
4. Критерий случайности – возможен ли, к примеру, подбор лиц, которые не склонны к несчастным случаям? Изучение влияния определенного случая.

Теоретический поход в измерении валидности методов позволяет распознать, действительно ли технология изучает именно то качество, для которого она была предназначена.

Валидность также определяется встречаемостью изучаемого качества. Хорошо, если оно является распространенным, что и делает методику нужной и полезной. Также важными становятся этические и культурные изменения общества.

Отрывок, характеризующий Внутренняя валидность

Вдруг промелькнула паническая мысль – а что если прямо сейчас она возьмёт и просто исчезнет?!.. Ведь мне так хотелось, чтобы она как можно большим со мной поделилась, и как можно больше чему-то научила!.. Но я понимала, что как раз-то это и являлось бы уже с моей стороны именно тем «получением чего-то даром», о котором она только что меня предостерегала… Поэтому я постаралась взять себя в руки, заглушив насколько могла, свои бушующие эмоции, и по-ребячьему ринулась честно «отстаивать» свою правоту… – А если эти люди просто совершили ошибки? – не сдавалась я. – Ведь каждый, рано или поздно, совершает ошибку и имеет полное право в ней раскаяться. Старушка грустно на меня посмотрела и, покачав своей седой головой, тихо сказала: – Ошибка ошибке рознь, милая… Не каждая ошибка искупается всего лишь тоской и болью или ещё хуже – просто словами. И не каждый желающий раскаяться должен получить на это свой шанс, потому-то ничто, приходящее даром, по великой глупости человека, не ценится им. И всё, дарящееся ему безвозмездно, не требует от него усилий. Поэтому, ошибшемуся очень легко раскаяться, но невероятно тяжело по-настоящему измениться. Ты ведь не дашь шанс преступнику только лишь потому, что тебе вдруг стало его жалко? А ведь каждый, оскорбивший, ранивший или предавший своих любимых, уже на какую-то, хотя и ничтожную долю, в душе преступник

Поэтому, «дари» осторожно, девочка… Я сидела очень тихо, глубоко задумавшись над тем, чем только что поделилась со мной эта дивная старая женщина. Только я, пока что, никак не могла со всей её мудростью согласиться… Во мне, как и в каждом невинном ребёнке, ещё очень сильна была несокрушимая вера в добро, и слова необычной старушки тогда казались мне чересчур жёсткими и не совсем справедливыми

Но это было тогда… Как будто уловив ход моих по-детски «возмущённых» мыслей, она ласково погладила меня по волосам и тихо сказала: – Вот это я и имела в виду, когда сказала, что ты ещё не созрела для правильных вопросов. Не волнуйся, милая, это очень скоро придёт, даже, возможно, скорее, чем ты сейчас думаешь… Тут я нечаянно заглянула ей в глаза и меня буквально прошиб озноб… Это были совершенно удивительные, по-настоящему бездонные, всезнающие глаза человека, который должен был прожить на Земле, по крайней мере, тысячу лет!.. Я никогда не видела таких глаз! Она видимо заметила моё замешательство и успокаивающе прошептала: – Жизнь не совсем такая, как ты думаешь, малышка… Но ты поймёшь это позже, когда начнёшь её правильно принимать. Твоя доля странная… тяжёлая и очень светлая, соткана из звёзд… Много чужих судеб в твоих руках. Береги себя, девочка… Я опять не поняла, что всё это значило, но не успела ничего больше спросить, так как, к моему большому огорчению, старушка вдруг исчезла… а вместо неё появилось потрясающее по своей красоте видение – будто открылась странная прозрачная дверь и появился залитый солнечным светом дивный город, словно весь вырезанный из сплошного хрусталя… Весь искрящийся и блистающий цветными радугами, переливающийся сверкающими гранями невероятных дворцов или каких-то удивительных, ни на что непохожих строений, он был дивным воплощением чей-то сумасшедшей мечты… А там, на прозрачной ступеньке резного крыльца сидел маленький человечек, как я потом рассмотрела – очень хрупкая и серьёзная рыжеволосая девочка, которая приветливо махала мне рукой. И мне вдруг очень захотелось к ней подойти. Я подумала, что это видимо опять какая-то «другая» реальность и, вероятнее всего, как это уже бывало раньше, никто и ничего мне опять не объяснит. Но девочка улыбнулась и отрицательно покачала головой. Вблизи она оказалась совсем «крохой», которой от силы можно было дать самое большее пять лет.

Детали

Говорят, что выводы обладают внутренней достоверностью, если причинно-следственная связь между двумя переменными правильно продемонстрирована. Обоснованный причинно-следственный вывод может быть сделан при соблюдении трех критериев:

1. «причина» предшествует «следствию» во времени (приоритет во времени),
2. «причина» и «следствие» имеют тенденцию происходить вместе (ковариация), и
3. нет никаких правдоподобных альтернативных объяснений наблюдаемой ковариации (непредсказуемости).

В условиях научных экспериментов исследователи часто изменяют состояние одной переменной ( независимой переменной ), чтобы увидеть, какое влияние она оказывает на вторую переменную ( зависимую переменную ). Например, исследователь может манипулировать дозировкой определенного лекарства между разными группами людей, чтобы увидеть, какое влияние он оказывает на здоровье. В этом примере исследователь хочет сделать причинно-следственный вывод, а именно, что различные дозы препарата могут быть ответственны за наблюдаемые изменения или различия. Когда исследователь может уверенно отнести наблюдаемые изменения или различия в зависимой переменной к независимой переменной (то есть, когда исследователь наблюдает связь между этими переменными и может исключить другие объяснения или конкурирующие гипотезы ), тогда говорят, что причинный вывод быть внутренне действительным.

Однако во многих случаях размер эффектов, обнаруженных в зависимой переменной, может зависеть не только от

• вариации независимой переменной,
• мощность инструментов и статистические процедуры , используемые для измерения и обнаружения эффектов, и
• выбор статистических методов (см .: Достоверность статистического заключения ).

Скорее, ряд неконтролируемых (или неконтролируемых) переменных или обстоятельств может привести к дополнительным или альтернативным объяснениям (а) обнаруженных эффектов и / или (b) величины обнаруженных эффектов. Следовательно, внутренняя валидность больше зависит от степени, чем от «либо-либо», и именно поэтому исследовательские планы, отличные от истинных экспериментов, также могут давать результаты с высокой степенью внутренней достоверности.

Чтобы сделать выводы с высокой степенью внутренней достоверности, при разработке исследования могут быть приняты меры предосторожности. Как показывает опыт, выводы, основанные на прямом манипулировании независимой переменной, допускают большую внутреннюю валидность, чем выводы, основанные на ассоциации, наблюдаемой без манипуляций. Если рассматривать только внутреннюю валидность, строго контролируемые истинные экспериментальные планы (то есть со случайным выбором, случайным распределением в контрольную или экспериментальную группы, надежные инструменты, надежные процессы манипуляции и гарантии против мешающих факторов) могут быть «золотым стандартом» научных исследований

Однако сами методы, используемые для повышения внутренней достоверности, могут также ограничивать обобщаемость или внешнюю достоверность результатов. Например, изучение поведения животных в зоопарке может облегчить получение достоверных причинно-следственных выводов в этом контексте, но эти выводы могут не распространяться на поведение животных в дикой природе. В общем, типичный эксперимент в лаборатории, изучающий конкретный процесс, может не учитывать многие переменные, которые обычно сильно влияют на этот процесс в природе.

Если рассматривать только внутреннюю валидность, строго контролируемые истинные экспериментальные планы (то есть со случайным выбором, случайным распределением в контрольную или экспериментальную группы, надежные инструменты, надежные процессы манипуляции и гарантии против мешающих факторов) могут быть «золотым стандартом» научных исследований . Однако сами методы, используемые для повышения внутренней достоверности, могут также ограничивать обобщаемость или внешнюю достоверность результатов. Например, изучение поведения животных в зоопарке может облегчить получение достоверных причинно-следственных выводов в этом контексте, но эти выводы могут не распространяться на поведение животных в дикой природе. В общем, типичный эксперимент в лаборатории, изучающий конкретный процесс, может не учитывать многие переменные, которые обычно сильно влияют на этот процесс в природе.

Валидность теста это

Тест – это стандартизованное задание в результате применения, которого получаются данные о психофизиологическом состоянии человека и его личностные свойства, его знания, способности и навыки.

Валидность и надежность тестов – это два показателя, которые определяют их качество.

Валидность теста определяет степень соответствия исследуемого качества, характеристики, психологического свойства к тесту, с помощью которого они определяются.

Валидность теста является показателем его эффективности и применяемости к измерению необходимой характеристики. Самые качественные тесты имеют 80% валидности. При валидизации следует учитывать, что от контингента испытуемых и их характеристик, будет зависеть качество результатов. Получается, что один тест может быть как высоко достоверным, так и совсем невалидным.

Существует несколько подходов к определению валидности теста.

При измерении сложного психологического явления, которое имеет иерархическую структуру и его невозможно исследовать, применяя всего один тест, применяют конструктивную валидность. Она определяет точность исследования сложных, структурированных психологических явлений, качеств личности, измеряемых с помощью тестирования.

Валидность за критерием – это такой критерий теста, за которым определяется исследуемое психологическое явление в настоящий момент и прогнозирование особенностей этого явления в будущем. Для этого результаты, полученные при тестировании соотносятся со степенью развития измеряемого качества на практике, оценка специфических способностей в определенной деятельности. Если валидность теста имеет значение минимум 0,2 то применение такого теста является оправданным.

Содержательная валидность – это критерий теста, который применяется для определения соответствия области его измеряемых психологических конструктов, демонстрирует все полноту множества измеряемых показателей.

Прогностическая валидность – критерий, за которым можно предсказать характер развития исследуемого качества в будущем. Такой критерий качества теста очень ценный, если смотреть с практической стороны, но могут быть сложности, поскольку исключается неравномерность развития данного качества в разных людей.

Надежность теста – это критерий теста, который измеряет уровень стабильности результатов, полученных после тестирования, при повторном исследовании. Определяется путем вторичного тестирования спустя определенное количество времени и расчета корреляционного коэффициента результатов, полученных после первого и после второго тестирования

Также важно, учитывать особенности самой процедуры проведения тестов и социально-психологической структуры выборки. Один и тот же тест может иметь разную надежность, зависимо от пола, возраста, социального статуса исследуемых

Поэтому надежность может иногда иметь неточности, ошибки, которые истекают из самого процесса исследования, поэтому ищутся пути, как уменьшить влияние определенных факторов на тестирование. Можно утверждать о надежности теста, если она составляет значение 0,8-0,9.

Валидность и надежность тестов очень важны, потому что определяют тест, как измерительный инструмент. Когда надежность и валидность неизвестны, тест считается неприменяемым для применения.

В измерении надежности и валидность имеет место также этический контекст

Это особенно важно, когда результаты тестирования имеют значимость в использовании их для принятия жизненно важных решений людей. Одних людей принимают на работу, других отсеивают, одни студенты проходят в учебные заведения, а другие должны еще доучиться сначала, кому-то определяется психиатрический диагноз и лечение, а кто-то здоров – это все говорит о том, что подобные решения принимаются на основании изучения оценки поведения или специальных способностей

Например, человек ищущий работу, должен пройти тестирование, и его оценки есть решающими показателями при приеме на работу, узнает, что тест был не в меру валидным и надежным, он очень разочаруется.

Что такое валидация и чем она отличается от верификации

Говоря простыми словами, валидация – это проверка продукции на то, насколько она соответствует заявленным характеристикам. То есть, какой-нибудь мобильный телефон не пройдет валидацию до тех пор, пока заказчики не удостоверятся, что в нём именно такая камера и именно такой объем памяти, за который они готовы были заплатить.

Верификация же – это именно процесс, предшествующий валидации продукции. То есть, когда заказчик телефона из предыдущего примера проверял его на соответствие заявленным требованиям, то он проводил верификацию мобильного телефона. Заодно в процесс верификации продукции обычно включается анализ изделия: все ли необходимые части на месте, правильно ли они работают и так далее.

А теперь ещё раз, но уже в сравнении. Валидация – это анализ продукции на её работоспособность (включается ли телефон и может ли он звонить). Верификация – бюрократический вариант, то есть в течение этого процесса тестеры сверяются, соответствуют ли составные части продукции установленным техническим стандартам изготовления.

Возможно, профессионалы в области стандартизации скажут, что это слишком грубое и неполное объяснение, но оно даёт общую картину того, что же это за слова такие непонятные.

Приведём еще один пример. Представим, что планируется выход на рынок нового напитка. Способ изготовления и необходимые стандарты отправляются на фабрику. Изготовитель по окончанию процесса производства проверяет (верифицирует) состав напитка и его соответствие заявленному стандарту. Заказчик партии напитков проводит серию тестов на то, насколько напиток нравится потенциальным покупателям по вкусовым качествам. Если на этом этапе проверки тоже не возникает никаких проблем, то напиток можно считать валидированным.

То есть, в процессе валидации проверяется, имеет ли изготовленная продукция тот результат, на который производители и разработчики рассчитывали во время его проектирования. Бывает, что продукция проходит процесс верификации, но на деле оказывается, что она не работает. Таким образом, валидированный продукт внушает большее доверие.