Оперантное обусловливание и «ящик скиннера»

Теория оперантного научения б Скиннера. Оперантное обусловливание Б. Ф. Скиннера

Другим психологом, на этот раз — американцем, который оказал несомненное влияние на поведенческую психотерапию, был Б. Ф. Скиннер (1904—1990). Вероятно, именно психотерапевтическое и педагогическое применение теории оперантного обусловливания ответственно за то, что Скиннер много лет оставался ведущим психологом в Америке.

В основании теории оперантного обусловливания лежит тот простой факт, что не всегда действия живого существа являются реакцией на ту или иную комбинацию внешних воздействий — стимулов. Довольно часто (по мнению Скиннера — в большинстве случаев) поведение выглядит так, как будто бы ему не предшествуют никакие видимые стимулы. В знаменитых опытах Скиннера лабораторная крыса помещалась в пустой ящик с педалью внутри и получала полную свободу действий. В ходе хаотичного исследования ящика крыса неизбежно задевала педаль и получала порцию пищи. После нескольких случайных нажатий на педаль у крысы формировалась новая форма поведения, которая также не была связана ни с какими предшествующими стимулами. Теперь, проголодавшись, крыса целенаправленно следовала к педали и, нажав на нее, получала желаемое.

Таким образом, ключевое отличие оперантного обусловливания от классического состоит в том, что в случае оперантного обусловливания живой организм своим поведением активно воздействует на окружающую среду и сталкивается с теми или иными последствиями. В случае формирования условного рефлекса такого воздействия не наблюдается. Животные в опытах Павлова были специально, в целях соблюдения чистоты эксперимента, лишены какой-либо возможности влиять на окружение. В этом смысле оперантное поведение — активно и направлено на исследование окружающего мира, респондентное — реактивно и лишь следует тем или иным воздействиям, в процессе классического обусловливания приобретшим для организма определенное сигнальное воздействие.

Но сама по себе исследовательская активность ничего не дает — она лишь увеличивает шансы встретить те или иные последствия. То, каким образом видоизменяется поведение, зависит в первую очередь от характера последствий — от того, будут эти последствия приятными или неприятными. Приятные последствия Скиннер называл позитивным подкреплением. Экспериментируя с разными типами подкрепления, Скиннер вывел одну бесспорную и всегда воспроизводимую закономерность: образцы поведения (операнты), вслед за которыми следуют приятные последствия, в будущем встречаются чаще. Крыса чаще нажимает на педаль, если непосредственно вслед за этим действием она получает кусочек пищи. Голубь, помещенный в клетку, на полу которой имеется красное пятно, лишь случайным образом может клюнуть в него. Но если сразу вслед за этим он получит пищу — зернышко, то этот оперант (действие в расчете на успех) будет чаще встречаться в будущем. Человек, которого вкусно накормят в одном из ресторанов города, будет чаще ходить в этот ресторан, даже если он довольно далеко расположен от дома.

Типы поведения

Для развития подходов к пониманию поведения человекаФредерик Скиннер вводит в свою теорию два типа поведения организма: респондентное и оперантное поведение.

Респондентное поведение

Респондентное действие – реакция, которая вызвана стимулом. Организм автоматически реагирует на некоторые стимулы, например, сужение зрачка при ярком освещении, повышение температуры при борьбе с возбудителем болезни и проч.

Респондентное поведение полностью совпадает с исследованиями Павлова. Известно, что слюноотделение собаки усиливалось при звуковом сигнале. Человек может реагировать сходным образом на звон посуды, на открытие бутылки шампанского и др.

Рефлексы используются в рекламном бизнесе. Создание ассоциации картинки с товаром помогает увеличить лояльность покупателя к продукту.

Респондентное поведение делится на два вида:

1. Условно рефлекторное, привитое извне.
2. Безусловно рефлекторное, формы поведения, заложенные в организм.

В «Поведении организмов» ученый выводит положение о двух формах поведения, которые возникают в процессе обучения. Первая форма – респондентная, совпавшая с опытами Ивана Павлова, или рефлекторная, вызывается условным или безусловным стимулом. Можно сказать, что респондентное поведение – невольное, автоматически совершаемое. Вторая форма – оперантная, которая, в противоположность респондентной, является формой добровольного действия. 

Оперантное поведение

По Скиннеру, оперантное поведение отличается от рефлекторной реакции и является целенаправленным и произвольным.

Важно заметить, что вкладывает Фредерик Скиннер в понятие целенаправленности. В теории оперантного обусловливания целенаправленность не используется как определение цели или намерения

По мнению Скиннера, внутренние параметры (т.е. цели) создают условия для возникновения ложных предположений, которые не связаны с воздействием среды на человека

В теории оперантного обусловливания целенаправленность не используется как определение цели или намерения. По мнению Скиннера, внутренние параметры (т.е. цели) создают условия для возникновения ложных предположений, которые не связаны с воздействием среды на человека.

Именно влияние внешних факторов на поведение формирует целенаправленность. Организм реагирует на что-то, затем формируется подкрепление.

Оперантное поведение может формироваться в ходе работы нескольких людей. Например, при выступлении оратор, улыбаясь, заставляет слушателей отреагировать улыбкой, затем формируется доверительное отношение к услышанной информации. Реакция опережает подкрепление.

В самостоятельном формировании привычек также используется оперантная форма поведения. Самодисциплина подразумевает манипулирование внешними событиями вокруг индивида. Оперантный самоконтроль состоит из двух взаимосвязанных событий:

1. Изменение окружающей среды и вероятности повторения реакции, например, контроль гнева через уход.
2. Формирование среды, где есть стимулы, которые помогают увеличить вероятность повторения определенного действия. Примером такой среды может быть удобная мебель на рабочем месте для увеличения работоспособности.

Данные, полученные в ходе экспериментов над животными и изложенные в труде «Поведение организмов», позволили Берресу Скиннеру сформировать особый вариант программированного обучения. Научение должно быть ограничено набором внешних факторов среды и подкрепления поведения.

Скиннер создает крайне автоматизированное объяснение поведению человека, которое сводится к комбинации реакций и подкреплений различных уровней сложности. Внутренний мир человека, его сознание осознанно игнорируются исследователеми происходят из реакций личности на внешнюю среду.

Скиннер стираетгрань между человеком и животным, делая реакцию и научение этой реакции главной причиной любого действия человека.

Список использованных источников:

• 1. Schacter, Daniel Psychology Second Edition. USA: Worth Publishers ISBN 978-1-4292-3719-2 2011, p. 17.
• 2. B. F. Skinner. About Behaviorism ISBN 0-394-71618-31974, pp.18-20.
• 3. Slater, Lauren. Opening Skinner’sBox: Great Psychological Experiments of the Twentieth Century. NewYork: W.W. Norton, 2004, p.6.
• 4. B. F. Skinner. About Behaviorism ISBN 0-394-71618-31974, р. 225.
• 5. B. F. Skinner. About Behaviorism ISBN 0-394-71618-31974, p. 69.

Редактор: Редактор: Чекардина Елизавета Юрьевна

• Писать или не писать? – вот в чем вопрос https://psychosearch.ru/7reasonstowrite
• Как стать партнером журнала ПсихоПоиск? https://psychosearch.ru/onas
• Несколько способов поддержать ПсихоПоиск https://psychosearch.ru/donate

Скиннер и критика традиционной психологии

Беррес Фредерик Скиннер (1904-1990) – один из самых известных представителей бихевиоризма, основатель необихевиоризма, а также очень противоречивая фигура в истории американской психологии ХХ столетия.

Перед тем как стать выдающимся психологом, Скиннер мечтал о карьере писателя, но после знакомства с научными работами Павлова и Джона Уотсона он поступил в Гарвард и начал изучать психологию.

Еще будучи студентом психологии в университете, Скиннер вслед за Павловым утверждал, что человек не отличается от других животных, поэтому и анализировать его стоит в тех же научных категориях что и другие живые организмы. Этим своим знаменитым мнением он бунтовал против известной концепции в психологии, согласно которой формирование человека и его поступков – это отражение внутренних переживаний, мыслей, эмоций.

Такими утверждениями о предмете психологии Скиннер остро критиковал популярный тогда психоанализ Фрейда, а также вслед за позитивистским духом в точных и естественных науках он хотел переосмыслить методологию психологии. Разделив психологию на «донаучные» концепции и бихевиористов, Скиннер пытался ее реформировать и сформулировать собственный научный метод, создать новую экспериментальную психологию.

Критикуя психологию, Скиннер пытался доказать: фундаментальная ошибка современной психологии в том, что причины человеческого поведения находятся не внутри человека, а в окружении. Он утверждал: хотя человечество перестало верить в средневековых духов и бесов, но оно до сих пор пытается описать какие-то метафорические «скрытые силы» сознания, которые нельзя доказать или подтвердить экспериментально. Эти аргументы против изучения внутреннего мира были обоснованы тем, что люди не имеют доступа к сознанию человека, поэтому психология должна заниматься только наблюдением.

Благодаря численным экспериментам в лаборатории (большое количество которых он проводил на голубях и крысах), а также своему писательскому таланту, сегодня Скиннер считается самым ярким представителем бихевиоризма. Его научный вклад в развитие психологии оказал сильное воздействие на последующие поколения психологов, которые работали в этом же направлении.

Определение оперантной обусловленности

Оперантная обусловленность — это форма обучения, которая состоит из связать стимул с ответом для того, чтобы ответ происходил более или менее. То есть поведение происходит, и после поведения есть следствие, то, что происходит позже. Тогда есть два варианта: то, что следствие является положительным или отрицательным.

1. Если следствие считается положительный это поведение будет иметь более вероятно, что произойдет в будущем, потому что поведение связано с хорошим событием, которое произошло после.
2. Если, наоборот, следствие отрицательный поведение будет иметь менее вероятно, что произойдет в будущем, так как поведение связано с плохим событием. Эта связь между поведением и последствиями приводит к технике модификации поведения, которая служит для повторения поведения или нет. Существуют разные типы оперантного кондиционирования..

Типы оперантного кондиционирования

• положительное подкрепление: когда хорошее поведение происходит после поведения, оно будет приводить к увеличению присутствия поведения.
• отрицательное подкрепление: когда после поведения не происходит или плохое событие, которое уже происходит, не происходит, что также увеличит присутствие поведения.
• упущение: когда хорошее поведение не происходит после поведения, присутствие поведения будет уменьшаться.
• наказание: когда после поведения происходит плохое событие, которое также уменьшает присутствие поведения.

Инструментальное кондиционирование Тондрика

Как мы уже отмечали ранее, Буррх Фредерик Скиннер является наиболее важным автором оперантной обусловленности, к которой позже Эдвард Торндайк назвал термин инструментальное кондиционирование. Концептуальное различие основано больше на имени, чем на характере обучения.

Что такое оперантное обусловливание

Фото автора Olha Ruskykh: Pexels

Оперантное обусловливание – это теория, согласно которой на поведение человека влияют не столько внешние обстоятельства окружающей среды, сколько взаимодействие человека с этими обстоятельствами и последствия, которые после этого наступают.

Эта теория была разработана Б.Ф. Скиннером, по мнению которого существует 3 формы поведения:

безусловно-рефлекторное – это реакция организма, которая не зависит от его сознания. Она основана на безусловных рефлексах: пищевых, защитных и т.д.;

• условно-рефлекторное – она вызвана формированием условного рефлекса и была сформулирована И.П. Павловым;
• оперантное – организм сам активно воздействует на окружающую среду и, в зависимости от тех или иных последствий, вырабатывает определенный способ поведения.

 В теории Скиннера, обусловить – значит создать продуманные условия, которые приведут к подкреплению нужного поведения. «Оперантное» от слова «операция», то есть определенное действие.

Классический эксперимент Скиннера

Лучше всего понять суть оперантного обусловливания помогает описание эксперимента, который провел Скиннер. Он посадил крысу в специальный ящик, где была педаль. Стоило на нее нажать, как в ящике появлялась еда.

При хаотичных передвижениях крыса случайно нажала на педаль и у нее появился корм. После нескольких повторов у крысы сформировалась ассоциативная связь: «нажатие на педаль приводит к сытости».

Суть эксперимента в том, что в отличии от собак Павлова, которые никак не влияли на окружающую среду, крысы Скиннера действовали по своему усмотрению. Они понимали, к чему приведет тот или иной их поступок и меняли свое поведение, чтобы получить желаемое.

Способ формирования

Оперантное обусловливание имеет способность формировать поведение, в случаи, когда подпитываемые действия постепенно меняются, плавно превращаясь к исполнению, что мы хотим видеть в итоге.

Научение имеет в себе целую систему наказаний и особых поощрений, целью которых является усилить либо ограничить выбранный тип поведения.

Суть оперантного научения – это установка ассоциативной связи между основным поведением и следствием того самого поведения. Научение можно отнести к своеобразному методу обучения, только этот способ требует конкретного действия. Нередко оперантное научение называют методом Скиннера — в честь Бихевиориста Фредерика Скиннера. Скиннер был убеждён в том, что объяснить любое поведение мыслями или мотивацией – невозможно

По этой причине он пробовал обращать внимание на причины внешнего характера которые влияют на поведение людей

Такой термин, как «оперантный», Скиннер использовал как описание любого поведения, которое можно отнести к влиянию внешних факторов, выливших в определённые последствия. Проще говоря, Скиннер на примере научения объяснил нам, как люди приобретают привычки и модель поведения которые используются ежедневно.

Ящик Скиннера

Согласно концепции оперантного поведения, обусловливание может использоваться для контроля над поведением окружающихи для самоконтроля. Для регулирования личного поведения необходимо положительное подкрепление для действия.

Эксперимент Берреса Скиннера

1. Голодная крыса помещалась в специальный короб. Нажимая на рычаг, животное получало еду. Со временем подопытная крыса осознала (положительный результат), что нажатие рычага позволяет достать лакомство. Данный навык закрепился.
2. Крыса снова помещалась в ящик, но нажатие рычага сопровождалось подачей тока. Каждый разряд тока создавал неприятное ощущение в памяти животного (негативное подкрепление). Ток, проводимый через лапки, заставлял выработанную форму поведения сойти на нет – наказание.
3. Последняя фаза эксперимента: крыса помещается в ящик. При нажатии рычага крыса не получала разряд током, но и еду не получала. Животное не получало позитивного или негативного подкрепления, поэтому навык затухал.

Опыты Берреса Скиннера позволили изучить процесс обучения организмов и способы его контроля.

В 1960-е годы американские государственные психиатрические клиники начали применять результаты эксперимента для работы с людьми, больными шизофренией, расстройством личности.

Как работает классическое обусловливание?

Даже если вы не студент-психолог, вы в любом случае слышали о собаках Павлова. В своём знаменитом опыте Иван Павлов обнаружил, что собаки начали выделять слюну в ответ на нейтральный стимул в паре с пищей. Павлов понял, что это условный рефлекс, и приступил к дальнейшему исследованию процесса обусловливания.

Классическое обусловливание включает в себя связывание ранее нейтрального стимула (например, звука колокольчика) с безусловным (вкус пищи). Этот безусловный стимул естественен и автоматически запускает слюноотделение. После связывания, звук колокольчика начинает вызывать слюноотделение уже самостоятельно. То есть, звук колокольчика является условным раздражителем, а слюноотделение в ответ на звонок — условным рефлексом.

Виды подкрепления

Согласно теории оперантного обусловливания, подкрепление может быть:

первичным – это жизненно важные потребности, такие как еда, секс, безопасность, отсутствие боли;
вторичным – деньги, уважение, престиж, внимание, социальное одобрение и т.д.

Например, ребенок получил хорошую оценку и за это родители его похвалили. Это повторяется несколько раз. У него формируется ассоциативная связь: «хорошая отметка приведет к похвале». Ради одобрения родителей, он начнет стремиться получать только хорошие оценки.

Но, чтобы эта теория «работала» нужно соблюдать правила эффективного подкрепления. Одно из них – это постоянство и предсказуемость.

Когда крыса каждый раз после нажатия педали получала еду, ее поведение было стабильным и четко направленным. Но потом Скиннер немного изменил условия. После нажатия педали крыса не всегда получала еду, а через раз.

После этого наступило угасание реакции – ассоциативная связь, которая была когда-то сформирована, разрушилась. Также и с людьми. Если ребенок, принося из школы хорошие оценки, то получает похвалу, то нет – его поведение быстро изменится.

Он поймет, что хорошие оценки ему никак не помогут получить желаемое от родителей, потому что их похвала зависит не от него, а от их настроения, усталости и прочего.

Также и со взрослыми. Если человек, вовремя закончив проект, всегда получает премию, работодатель обретет исполнительного и старательного сотрудника.

Но если премии выплачиваются не постоянно, то работник сделает вывод, что нет особого смысла оставаться по вечерам.

Скиннер выделял 3 вида подкрепления:

• позитивное подкрепление;
• негативное подкрепление;
• наказание.

Позитивное подкрепление

Это последствия, которые вызывают у человека или любого другого существа, позитивные эмоции: радость, удовольствие, а также приятные ощущения, например, сытость, тепло. Это та награда, которую мы получаем за работу.

Негативное подкрепление

Это ситуация, в которой удалось избежать наказания. Например, если ребенку угрожают, что за плохое поведение он лишиться подарков на Новый год. Или сотруднику говорят, что если он сорвет сроки работы, он будет уволен.

Чтобы избежать неприятного наказания, человек ведет себя «хорошо».

Наказание

Это наказание за определенные действия: боль, голод, игнорирование, осуждение, штрафы, лишение премии и так далее. А также, это лишение чего-то приятного за неправильное и нежелательное действие.

В общем все, что вызывает у человека негативные эмоции, и не важно, это ребенок, которого поставили в угол или муж, которому не приготовили ужин

Что лучше «работает»

Одним из революционных открытий Скиннера было то, что благодаря своим экспериментам он смог доказать – наиболее эффективным является позитивное подкрепление. Именно похвала, премии, награда лучше всего мотивируют человека делать то, что нужно.

На втором месте было негативное подкрепление – желание избежать неудовольствия и наказания тоже повышает эффективность работы.

А вот наказание, как показали эксперименты, не стимулирует правильное поведение. Наоборот, в какой-то момент происходит снижение мотивации. Человек перестает делать то, что от него требуется даже понимая, что будут санкции.

Исследования Б. Скиннера в рамках бихевиоризма

Беррес Скиннер — американский психолог, писатель, продолжатель идей Дж. Уотсона, который разработал теорию оперантного научения.

Он считал, что человеческий организм — это «черный ящик». Все, что наполняет этот ящик (эмоции, мотивы, влечения),  нельзя объективно измерить, поэтому их следует исключить из сферы эмпирического наблюдения. А вот поведение можно объективно измерить, собственно, этим Скиннер и занимался.

Он не принял идею о личности, которая направляет или стимулирует поведение. Скиннер считал, что поведение порождается не силами, которые находятся внутри человека (например, чертами, потребностями, мыслями, чувствами), а силами, которые лежат вне человека. Это значит, что поведение человека регулируется не изнутри, а снаружи (окружающей средой). Изучение личности по Скиннеру — это нахождение своеобразного характера взаимоотношений между поведением организма и результатами этого поведения, которые и подкрепляют его в последствии. Этот подход фокусируется на прогнозировании и контроле наблюдаемого поведения.

Б. Скиннер, также как и Дж. Уотсон, интересовался таким явлением как научение. Он даже разработал концепцию оперантного научения, которая базировалась на законе эффекта, который был открыт Э. Торндайком.

Оперантное научение — это метод обучения, который включает в себя систему поощрений и наказаний с целью усилить или прекратить определенный тип поведения. При этом организм ассоциирует свое поведение с последующим результатом. Такое научение направлено ​​на подкрепление контролируемого индивидом поведения.

Например, человек пытается научить собаку выполнять команду. Когда собака успешно справляется (т.е. выполняет команду), она получает поощрение (похвалу, лакомство). Когда собака не справляется с заданием, она не получает поощрение. В итоге, у собаки устанавливается связь между определенным поведением и возможностью получить награду.Подобным образом, можно и отучить собаку, например, делать «свои дела» на ковер. Только использовать придется систему наказаний (например, отругать пса). Получается своеобразный метод «кнута и пряника».По этому поводу советую прочитать интереснейшую книгу Карен Прайор, которая называется «Не рычите на собаку! Книга о дрессировке людей, животных и самого себя «.

Скиннер проводил эксперименты над голодными животными (крысы, голуби), которых помещал в ящик, который получил название «ящик Скиннера». Ящик был пуст, внутри находился лишь выступающий рычаг, под которым стояла тарелка для еды. Оставленная одна в ящике, крыса передвигается и исследует его. В какой-то момент, крыса обнаруживает рычаг и нажимает на него.После установления фонового уровня (частота, с которой крыса вначале нажимает на рычаг) экспериментатор запускает в действие кассету с пищей, расположенную снаружи ящика. Когда крыса нажимает на рычаг, небольшой шарик пищи выпадает в тарелку. Крыса съедает его и вскоре снова нажимает на рычаг.Пища подкрепляет нажатие на рычаг, и частота нажатий растет. Если кассету с пищей отсоединить, так что при нажатии на рычаг пища больше не подается, частота нажатий будет уменьшаться. 

Таким образом, Скиннер заметил, что оперантно обусловленная реакция при неподкреплении угасает точно так же, как и классически обусловленная реакция. Исследователь может установить критерий дифференцировки, подавая пищу только тогда, когда крыса нажимает на рычаг при горящей лампочке, и тем самым вырабатывая условную реакцию у крысы путем избирательного подкрепления. Свет тут служит стимулом, который контролирует реакцию.

Скиннер также добавляет положения о двух видах поведения: респондентное и оперантное поведение.Респондентное поведение — это  характерная реакция, вызываемая известным стимулом; стимул, при этом, всегда предшествует реакции. В качестве примера можно привести сужение или расширение зрачка в ответ на световую стимуляцию, подергивание колена при ударе молоточком по коленному сухожилию и дрожь при холоде.Оперантное поведение — это произвольные приобретенные реакции, для которых не существует стимула, поддающегося распознаванию. Вызванное оперантным научением такое поведение определяется событиями, которые следуют за реакцией. Т.е. за поведением идет следствие, и природа этого следствия изменяет тенденцию организма повторять данное поведение в будущем.Например, катание на роликах, игра на гитаре, написание собственного имени – это образцы оперантной реакции (или операнты), контролируемые результатами, следующими за соответствующим поведением.

Концепции и процедуры

Изменение оперантного поведения: подкрепление и наказание.

Подкрепление и наказание — это два инструмента, с помощью которых происходит модификация оперантного обусловливания. Всего существует 5 видов его последствий:

Положительное подкрепление — сразу после поведенческой реакции предъявляется стимул, который приводит к увеличению частоты возникновения этого класса реакций в будущем.

Отрицательное подкрепление (избегание) — сразу после поведенческой реакции некий аверсивный стимул убирается из окружающей среды, что приводит к увеличению частоты возникновения этого класса реакций в будущем. В экспериментах Скиннера, таким стимулом был громкий звук внутри коробки. Когда крыса нажимала на рычаг, звук прекращался, таким образом, поведение крысы получало отрицательное подкрепление.

Положительное наказание — сразу после поведенческой реакции предъявляется аверсивный стимул, и это приводит к тому, что частота возникновения поведения в будущем уменьшается.

Отрицательное наказание — после поведенческой реакции из среды убирается желаемый стимул, и это приводит к уменьшению возникновения этого поведения в будущем.

Угасание — ослабление поведенческой реакции до уровня, наблюдаемого до начала подкрепления, либо полное её исчезновение в результате прекращения ее подкрепления. В прикладном анализе поведения также применяется процедура гашения, т.е. процедура формирования угасания путём отмены подкрепления. В процессе применения данной процедуры обычно возникает угасательное обострение, т.е. увеличение частоты реакций сразу после отмены подкрепления. Пример: сначала крыса много раз получает пищу после нажатия на рычаг, затем пища перестает поступать после нажатия рычага; со временем крыса начинает нажимать на рычаг всё реже и реже.