Понятие валидности эксперимента. внешняя и внутрянняя. их связь

Общие сведения[ | ]

Роберт Вудвортс (R. S. Woodworth), опубликовавший свой классический учебник по экспериментальной психологии («Experimental psychology», 1938), определял эксперимент как упорядоченное исследование, в ходе которого исследователь непосредственно изменяет некий фактор (или факторы), поддерживает остальные неизменными и наблюдает результаты систематических изменений. Отличительной особенностью экспериментального метода он считал управление экспериментальным фактором

, или, по терминологии Вудвортса, «независимой переменной», и отслеживание его влияния нанаблюдаемое следствие , или «зависимую переменную». Целью экспериментатора считается сохранение постоянными всех условий, за исключением одного — независимой переменной.

В упрощённом примере независимую переменную можно рассматривать как некий релевантный стимул

(St(r) ), силу которого варьирует экспериментатор, в то время, как зависимая переменная — реакция (R ) испытуемого, его психики (P ) на воздействие этого релевантного стимула.

Однако, как правило, именно искомая стабильность всех условий, кроме независимой переменной, в психологическом эксперименте недостижима, так как практически всегда помимо этих двух переменных присутствуют и дополнительные переменные, систематические иррелевантные стимулы

(St(1) ) и случайные стимулы (St(2) ), ведущие соответственно к систематическим и случайным ошибкам. Таким образом окончательное схематическое изображение экспериментального процесса выглядит так:

Следовательно, в эксперименте можно выделить три вида переменных:

Независимая переменная
Зависимая переменная
Дополнительные переменные (или внешние переменные)

Итак, экспериментатор пытается установить функциональную зависимость между зависимой и независимой переменной, что выражается в функции R

=f(St(r) ), попытавшись при этом учесть систематическую ошибку, возникшую вследствие воздействия иррелевантных стимулов (примерами систематической ошибки можно назвать фазы Луны, время суток и др.). Для уменьшения вероятности воздействия случайных ошибок на результат исследователь стремится проводить серию опытов (примером случайной ошибки, может быть, например, усталость или же попавшая в глаз испытуемому соринка).

Основная задача экспериментального исследования

Общая задача психологических экспериментов заключается в том, чтобы установить наличие связи R

=f(S, P ) и, по возможности, вид функции f (бывают различные виды связи — причинно-следственные, функциональные, корреляционные и др.). В данном случае,R — реакция испытуемого,S — ситуация, аP — личность испытуемого, психика, или «внутренние процессы». То есть, грубо говоря, так как психические процессы невозможно «увидеть», в психологическом эксперименте на основании реакции испытуемых на стимулирование, регулируемое экспериментатором, делается какой-либо вывод о психике, психических процессах или личности испытуемого.

Этапы эксперимента

В каждом эксперименте можно выделить следующие этапы. Первый этап — постановка задачи и цели, а также построение плана эксперимента. План эксперимента должен строиться с учётом накопленных знаний и отражать актуальность проблемы.

Второй этап — собственно процесс активного воздействия на окружающий мир, в результате чего накапливаются объективные научные факты. Получению этих фактов в значительной степени способствует правильно подобранная методика эксперимента. Как правило, метод эксперимента формируется на основе тех трудностей, которые необходимо устранить, чтобы решить задачи, поставленные в эксперименте. Методика, разработанная для одних экспериментов, может оказаться пригодной и для других экспериментов, то есть приобрести универсальное значение. Источник

Валидность в психологическом эксперименте

Основная статья: Валидность (психология)

Как и в естественнонаучных экспериментах, так и в психологических краеугольным камнем считается понятие валидности: если эксперимент валиден, учёные могут обладать некоторой уверенностью в том, что ими было измерено именно то, что они хотели измерить. Предпринимается множество мер для того, чтобы соблюдать все виды валидности. Однако быть абсолютно уверенным в том, что в каком-то, даже самом продуманном, исследовании можно совершенно соблюсти все критерии валидности, невозможно. Полностью безупречный эксперимент недостижим.

Психометрические свойства методик психодиагностики

К ним относятся надежность, валидность и репрезентативность.

Надежность методики – это количественно-статистический показатель устойчивости результатов, который измеряется при помощи различных коэффициентов корреляции. Он, однако, не отвечает на вопрос, какое психическое свойство измеряется.

Такую информацию можно узнать, изучив показатель валидности

Он также измеряется при помощи коэффициентов корреляции, только принимается во внимание большее количество теоретических и практических соображений

В психологии валидность — это соответствие поставленным задачам разработанных методик и результатов их исследования.

Ее важная особенность – невозможность разового установления и использования этого доказательства конечным аргументом «за» качество методики или эксперимента. Рассматривая соответствие результатов исследования поставленным задачам, можно судить о степени валидности. Но она не измеряется ни в каких условных единицах.

Проверку репрезентативности часто сводят к нормальному распределению тестовых баллов. Но это можно считать ее частным случаем, достаточным условием, но необязательным.

На сегодняшний день психометрические характеристики рассматривают как главный признак научной обоснованности. В мировой психодиагностике это является обязательным условием для получения сертификата в национальных комиссиях по тестированию в качестве пригодной для практического использования методики.

Валидность теста это

Тест – это стандартизованное задание в результате применения, которого получаются данные о психофизиологическом состоянии человека и его личностные свойства, его знания, способности и навыки.

Валидность и надежность тестов – это два показателя, которые определяют их качество.

Валидность теста определяет степень соответствия исследуемого качества, характеристики, психологического свойства к тесту, с помощью которого они определяются.

Валидность теста является показателем его эффективности и применяемости к измерению необходимой характеристики. Самые качественные тесты имеют 80% валидности. При валидизации следует учитывать, что от контингента испытуемых и их характеристик, будет зависеть качество результатов. Получается, что один тест может быть как высоко достоверным, так и совсем невалидным.

Существует несколько подходов к определению валидности теста.

При измерении сложного психологического явления, которое имеет иерархическую структуру и его невозможно исследовать, применяя всего один тест, применяют конструктивную валидность. Она определяет точность исследования сложных, структурированных психологических явлений, качеств личности, измеряемых с помощью тестирования.

Валидность за критерием – это такой критерий теста, за которым определяется исследуемое психологическое явление в настоящий момент и прогнозирование особенностей этого явления в будущем. Для этого результаты, полученные при тестировании соотносятся со степенью развития измеряемого качества на практике, оценка специфических способностей в определенной деятельности. Если валидность теста имеет значение минимум 0,2 то применение такого теста является оправданным.

Содержательная валидность – это критерий теста, который применяется для определения соответствия области его измеряемых психологических конструктов, демонстрирует все полноту множества измеряемых показателей.

Прогностическая валидность – критерий, за которым можно предсказать характер развития исследуемого качества в будущем. Такой критерий качества теста очень ценный, если смотреть с практической стороны, но могут быть сложности, поскольку исключается неравномерность развития данного качества в разных людей.

Надежность теста – это критерий теста, который измеряет уровень стабильности результатов, полученных после тестирования, при повторном исследовании. Определяется путем вторичного тестирования спустя определенное количество времени и расчета корреляционного коэффициента результатов, полученных после первого и после второго тестирования

Также важно, учитывать особенности самой процедуры проведения тестов и социально-психологической структуры выборки. Один и тот же тест может иметь разную надежность, зависимо от пола, возраста, социального статуса исследуемых

Поэтому надежность может иногда иметь неточности, ошибки, которые истекают из самого процесса исследования, поэтому ищутся пути, как уменьшить влияние определенных факторов на тестирование. Можно утверждать о надежности теста, если она составляет значение 0,8-0,9.

Валидность и надежность тестов очень важны, потому что определяют тест, как измерительный инструмент. Когда надежность и валидность неизвестны, тест считается неприменяемым для применения.

В измерении надежности и валидность имеет место также этический контекст

Это особенно важно, когда результаты тестирования имеют значимость в использовании их для принятия жизненно важных решений людей. Одних людей принимают на работу, других отсеивают, одни студенты проходят в учебные заведения, а другие должны еще доучиться сначала, кому-то определяется психиатрический диагноз и лечение, а кто-то здоров – это все говорит о том, что подобные решения принимаются на основании изучения оценки поведения или специальных способностей

Например, человек ищущий работу, должен пройти тестирование, и его оценки есть решающими показателями при приеме на работу, узнает, что тест был не в меру валидным и надежным, он очень разочаруется.

Валидность психологических тестов

Валидность психологических тестов отражает соответствие их результатов сущности измеряемых психологических феноменов. Например, насколько результат теста агрессивности отражает реальный уровень агрессивности респондента.

Можно выделить два основных способа определения валидности психологических тестов.

Первый способ выявления валидности психологического теста предполагает соотнесение результатов теста с аналогичными показателями других тестов. Например, для проверки валидности теста на самооценку можно сделать следующее:

провести тестирование испытуемых по новому тесту;
выявить самооценку испытуемых по другому тесту (предполагается, что он валиден);
рассчитать корреляцию показателей самооценки по двум психодиагностическим методикам;
статистически значимая корреляция даст основания говорить о валидности нового теста.

Такой способ позволяет выявить так называемую конструктную валидность. Она отражает соответствие выявляемого психологического показателя психологическому конструкту.

Второй способ выявления валидности психологического теста предполагает соотнесение результатов теста с внешними критериями. Такая валидность называется критериальная валидность психологического теста.

Например, показателем критериальной валидности теста склонности к отклоняющемуся поведению может быть реальное число правонарушений подростка. Применительно к тесту мотивации достижений показателем критериальной валидности может быть успешность выполнения той или иной деятельности.

Валидность это в психологии

В психологии понятие валидности обозначает уверенность экспериментатора в том, что он измерял именно то, что хотел с помощью определенной методики, показывает меру соответствия результатов и самой методики относительно поставленных задач. Валидное измерение – это то значение, которое измеряет именно то, для чего было создано. Например, методика, направлена на определение темперамента, должна измерять именно темперамент, а не нечто другое.

Валидность в экспериментальной психологии очень важный аспект, является важным показателем, который обеспечивает достоверность результатов, и с ним иногда больше всего возникает проблем. Совершенный эксперимент должен обладать безупречной валидностью, то есть он должен демонстрировать, что экспериментальный эффект вызван модификациями независимой переменной и полностью соответствовать действительности. Полученные результаты без ограничений можно обобщать. Если речь идет о степени данного критерия, то предполагается, что результаты будут соответствовать поставленным задачам.

Проверка на валидность осуществляется тремя способами.

Оценивание содержательной валидности, проводится, чтобы узнать уровень соответствия использованной методики и реальной действительности, в которой выражается исследуемое свойство в методике. Существует здесь также такой компонент, как очевидная, еще ее называют лицевая валидность, она характеризует степень соответствия теста к ожиданиям оцениваемых. В большинстве методик считается очень важным, чтобы участник оценки видел очевидную связь содержания процедуры оценки и действительности того объекта оценки.

Оценивание конструктной валидности исполняется для получения степени обоснованности, что тест реально вычисляет те конструкты, которые заданные и научно обоснованные.

В конструктной валидности имеются два направления. Первый называется конвергентной валидизацией, с его помощью проверяется ожидаемая связь результатов методики с характеристиками из других методик, которые измеряют исходные свойства. Если для измерения какой-то характеристики необходимо несколько методик, то рациональным решением было бы проведение экспериментов минимум двух методик, чтобы при сопоставлении результатов обнаружив высокую положительную корреляцию, можно было утверждать о валидном критерии.

Конвергентная валидизация определяет вероятность вариации оценки теста с ожиданиями. Второй подход, называется дискриминантная валидизация, в ней заключается, что методика не должна измерять никаких характеристик, с которой теоретически не должно быть корреляции.

Проверка на валидность, также бывает критериальной, она, руководствуясь статистическими методами, определяет степень соответствия результатов к заранее определенным внешним критериям. Такими критериями могут быть: непосредственные меры, независимые от результатов методики или значение социально-организационных значимых показателей деятельности. В критериальной валидности также выделяют прогностическую, она применяется при потребности прогнозирования поведения. И если получается, что этот прогноз осуществляется со временем, значит методика прогностически валидна.

Основные виды валидности

В психологии различается несколько видов валидности:

внутренняя валидность – показатель того, насколько направленное экспериментальное воздействие или влияние послужило причиной к данным изменениям в проводимом эксперименте.

Что такое валидность в психологии?

Высокий показатель внутренней валидности характеризует надлежащее качество исследования. На показатель внутренней валидности непосредственно влияют неконтролируемые ситуативные факторы: чем больше влияние этих факторов, тем ниже показатель внутренней валидности;

внешняя валидность – показатель, обобщающий вывод популяции или иных независимых переменных.

Внешняя валидность обеспечивает успешность применения результатов исследования в реальную жизнь;

эмпирическая валидность определяется как соответствие между коррекцией баллов по тесту и показателями внешнего параметра, который избирается в качестве критерия валидности.

К определению экспериментальной валидности, как правило, прибегают из-за противоречия между показателями внешней и внутренней валидизацией, так как увеличение одной, непременно влияет на показатели другой. В связи с этим, проводиться эмпирическая проверка методики;

конструктная валидность – это теоретический конструкт, который включается в процессе поиска факторов, объясняющих поведение испытуемого при проведении теста или методики.

Примером психологического конструкта может служить интеллект, существование которого признаётся и принимается во внимание для объяснения несхожести поведения людей;

ретроспективная валидность используется при получении данных в предсказательных методиках.

При определении этого типа валидности используются критерии, которые отображают события, свойства состояния в прошлом времени. Таким образом могут вычисляться характеристики того, насколько эффективнее стали результаты заданных процессов в настоящем времени по сравнению с прошлым;

экологическая валидность применяется для характеристики того, насколько выбранный организм является подготовленным к проявлению различных форм поведения в возможных средах обитания или контекстах.

Экологическая валидность считается подтверждённой результатами полевых исследований.

Факторы, угрожающие внутренней валидности[3]

Изменение во времени (зависимость субъектов и окружающей среды от времени суток, времён года, изменений в самом человеке — старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д.; ср. естественное развитие)
Эффект последовательности
Эффект Розенталя (Пигмалиона)
Эффект Хоторна
Эффект плацебо
Эффект аудитории
Эффект первого впечатления
Эффект Барнума
Сопутствующее смешение
Факторы выборки Неправильная селекция (неэквивалентность групп по составу, вызывающая систематическую ошибку в результатах)
Статистическая регрессия
Экспериментальный отсев (неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу)
Естественное развитие (общее свойство живых существ к изменению; ср. онтогенез)

И др.

Что такое валидность?

У рассматриваемого понятия существует много определений. Что такое валидность? Это пригодность и обоснованность применения какой-то методики или результата в конкретной ситуации. Прикладное значение данного слова – степень соответствия результатов и методик поставленным задачам.

Валидность – это измерение другого показателя, которое измеряет конкретные качества. Таким образом, методика направлена на измерение конкретного качества, например, интеллекта, а ее валидность должна показывать, насколько хорошо данная методика помогает в получении результатов.

Другим словом валидность можно назвать достоверностью. Она измеряет те тесты и методики, которые занимаются измерениями определенных психологических качеств. Чем лучше они измеряют те качества, которые измеряют, тем выше их валидность.

Валидность становится важной в двух случаях:

Когда некая методика разрабатывается.
Когда некая методика показывает результаты, и необходимо установить, насколько качественны данные результаты.

Таким образом, валидность – это характеристика, которая указывает пригодность конкретной методики для измерения какого-то качества и полезность, качественность, эффективность данной методики.

Обычно используется несколько видов валидности, чтобы провести проверку конкретного теста или методики. Здесь также происходит сравнение показателей, которые даются различными инструментами. Существует множество способов измерения того или иного психологического качества или характеристики. Чаще психологами будет использоваться та методика, которая дает более достоверные результаты. Это и будет показывать ее высокую валидность.

Вместе с валидностью часто рассматривается такое понятие, как надежность. Методики и тесты должны быть надежными, то есть они должны быть постоянными, достоверными. Экспериментатор должен быть уверен в том, что он рассматривает именно то качество, которое он желает рассмотреть. Вот почему надежность не всегда может быть валидной, однако валидность всегда должна быть надежной.

Детали

Говорят, что выводы обладают внутренней достоверностью, если причинно-следственная связь между двумя переменными правильно продемонстрирована. Обоснованный причинно-следственный вывод может быть сделан при соблюдении трех критериев:

«причина» предшествует «следствию» во времени (приоритет во времени),
«причина» и «следствие» имеют тенденцию происходить вместе (ковариация), и
нет никаких правдоподобных альтернативных объяснений наблюдаемой ковариации (непредсказуемости).

В условиях научных экспериментов исследователи часто изменяют состояние одной переменной ( независимой переменной ), чтобы увидеть, какое влияние она оказывает на вторую переменную ( зависимую переменную ). Например, исследователь может манипулировать дозировкой определенного лекарства между разными группами людей, чтобы увидеть, какое влияние он оказывает на здоровье. В этом примере исследователь хочет сделать причинно-следственный вывод, а именно, что различные дозы препарата могут быть ответственны за наблюдаемые изменения или различия. Когда исследователь может уверенно отнести наблюдаемые изменения или различия в зависимой переменной к независимой переменной (то есть, когда исследователь наблюдает связь между этими переменными и может исключить другие объяснения или конкурирующие гипотезы ), тогда говорят, что причинный вывод быть внутренне действительным.

Однако во многих случаях размер эффектов, обнаруженных в зависимой переменной, может зависеть не только от

вариации независимой переменной,
мощность инструментов и статистические процедуры , используемые для измерения и обнаружения эффектов, и
выбор статистических методов (см .: Достоверность статистического заключения ).

Скорее, ряд неконтролируемых (или неконтролируемых) переменных или обстоятельств может привести к дополнительным или альтернативным объяснениям (а) обнаруженных эффектов и / или (b) величины обнаруженных эффектов. Следовательно, внутренняя валидность больше зависит от степени, чем от «либо-либо», и именно поэтому исследовательские планы, отличные от истинных экспериментов, также могут давать результаты с высокой степенью внутренней достоверности.

Чтобы сделать выводы с высокой степенью внутренней достоверности, при разработке исследования могут быть приняты меры предосторожности. Как показывает опыт, выводы, основанные на прямом манипулировании независимой переменной, допускают большую внутреннюю валидность, чем выводы, основанные на ассоциации, наблюдаемой без манипуляций. Если рассматривать только внутреннюю валидность, строго контролируемые истинные экспериментальные планы (то есть со случайным выбором, случайным распределением в контрольную или экспериментальную группы, надежные инструменты, надежные процессы манипуляции и гарантии против мешающих факторов) могут быть «золотым стандартом» научных исследований

Однако сами методы, используемые для повышения внутренней достоверности, могут также ограничивать обобщаемость или внешнюю достоверность результатов. Например, изучение поведения животных в зоопарке может облегчить получение достоверных причинно-следственных выводов в этом контексте, но эти выводы могут не распространяться на поведение животных в дикой природе. В общем, типичный эксперимент в лаборатории, изучающий конкретный процесс, может не учитывать многие переменные, которые обычно сильно влияют на этот процесс в природе.

Если рассматривать только внутреннюю валидность, строго контролируемые истинные экспериментальные планы (то есть со случайным выбором, случайным распределением в контрольную или экспериментальную группы, надежные инструменты, надежные процессы манипуляции и гарантии против мешающих факторов) могут быть «золотым стандартом» научных исследований . Однако сами методы, используемые для повышения внутренней достоверности, могут также ограничивать обобщаемость или внешнюю достоверность результатов. Например, изучение поведения животных в зоопарке может облегчить получение достоверных причинно-следственных выводов в этом контексте, но эти выводы могут не распространяться на поведение животных в дикой природе. В общем, типичный эксперимент в лаборатории, изучающий конкретный процесс, может не учитывать многие переменные, которые обычно сильно влияют на этот процесс в природе.