К вопросу о формализации
знаний и опыта медицинских психологов
по интерпретации результатов тестирования испытуемых

Червинская К.Р. (Санкт-Петербург)

ЧЕРВИНСКАЯ Ксения Ральфовна

– член редколлегии журнала «Медицинская психология в России»;

–  доктор психологических наук, доцент кафедры эргономики и инженерной психологии Санкт-Петербургского государственного университета, старший научный сотрудник лаборатории клинической психологии Психоневрологического института им. В.М. Бехтерева.

E-mail: ks.56@mail.ru

Аннотация. В статье обсуждаются вопросы формализации знаний опытных медицинских психологов (экспертов) по интерпретации результатов тестирования испытуемых. Обосновывается актуальность создания моделей экспертных представлений и рассуждений, формализованных баз знаний и экспертных систем в области медицинской психодиагностики. Рассматривается психологическая концепция извлечения экспертных знаний, в рамках которой осуществляется взаимодействие когитолога и эксперта с целью построения модели экспертных представлений и рассуждений. В качестве иллюстрации концепции описан процесс формализации знаний опытного медицинского психолога для одной из методик медицинской психодиагностики.

Ключевые слова: медицинская психодиагностика, когитолог, эксперт, извлечение экспертных знаний, экспертные психодиагностические системы, экспертные представления и рассуждения, тиражирование экспертного опыта.

Ссылка для цитирования размещена в конце публикации.

Медицинская психодиагностика является одним из основных направлений профессиональной деятельности медицинских психологов наряду с психологическим консультированием, психологической коррекцией, психотерапией. Термин «медицинская психологическая диагностика» применим к широкому кругу диагностических ситуаций, в психологической литературе обозначаемых как «ситуации клиента», «ситуации пациента», «ситуации экспертизы», а также к массовым скрининговым, психопрофилактическим исследованиям, к экспресс-диагностике экстремальных состояний (Червинская, Щелкова, 2002; Вассерман, Щелкова, 2003).

Традиционной работой психолога в клинике является проведение психодиагностического исследования испытуемых. Это сложный, структурированный и развернутый во времени, познавательный интерактивный процесс, в ходе которого психолог-диагност должен сформулировать психологическое заключение, релевантное поставленной задаче исследования и запросам пользователя (врача, педагога, юриста, психолога и т.д.).

В практике психодиагностического исследования интерпретация результатов тестирования и написание психодиагностического заключения – это творческий процесс, осуществляемый психологом после рутинной обработки всех полученных данных. Причем, чем больше опыта обследования испытуемых имеет психолог, тем более точным, конкретным и адекватным получается «портрет» личности испытуемого. Проведенные нами эксперименты, направленные на создание моделей компьютерных интерпретаций тестовых данных, показали, что опытный психолог в процессе осмысления эмпирических данных сложных многомерных тестов, полученных на конкретного испытуемого, опирается, как правило, на некоторое визуальное представление результатов тестирования, например, на «профиль» в методиках MMPI, WAIS, «циркограмму типов поведения» в методике интерперсональных отношений и т.д. Такое визуальное представление позволяет наглядно видеть степень выраженности (высота профиля, его снижение или повышение относительно средне-нормативного уровня) и соотношение (конфигурация профиля) различных индивидуальных особенностей (стоящих за показателями шкал методики) в структуре личности и психического состояния испытуемого. Таким образом, результаты тестирования испытуемого воспринимаются психологом как некоторый целостный образ, гештальт, как «картинка», которой надо дать вербальное описание (Chervinskaya, E.Wasserman, 2000). Аналогичная задача – интерпретация электроэнцефалограмм врачом – известна и в медицине (Е.Л. Вассерман с соавт., 1996). Очевидно, что умение «прочитать гештальт», дать ему адекватное и качественное вербальное описание приобретается с опытом работы. Однако начинающие психологи оказываются в очень сложном положении: не имея под рукой сколько-нибудь адекватных правил, позволяющих увязывать подчас противоречивые паттерны (сочетания шкал, имеющих диагностическое значение), полученные на конкретного испытуемого, осмыслить результаты эмпирического исследования практически невозможно.

В связи с этим встает вопрос о формализации знаний и опыта медицинских психологов по интерпретации результатов тестирования испытуемых, и, как следствие, фиксация эксплицированных интерпретационных схем в виде базы знаний, являющейся ядром компьютерной экспертной психодиагностической системы (ЭПС), реализующей автоматизированное психодиагностическое заключение на конкретного испытуемого.

Актуальность создания моделей интерпретации тестовых данных и, как следствие, формализованных баз психодиагностических знаний очевидна и определяется следующими положениями.

1. Дальнейшая стандартизация тестового метода.

Создание моделей интерпретации тестовых данных является закономерным развитием тестового метода как метода формализации процесса психодиагностического исследования испытуемых. Развитие тестового метода осуществлялось постепенно путем нарастания формализации от стандартизации предъявляемых стимулов и получаемых ответов до формального анализа получаемых данных, при этом сохранялся нестандартный и неформальный характер интерпретации тестовых данных. Переход к развернутому психодиагностическому заключению, осуществляемому путем перевода числовых результатов на психологический язык, как правило, мало формализован, нестрог, осуществляется во многом интуитивно на основе личного профессионального опыта психолога. В этом отношении создание моделей интерпретации тестовых данных можно считать дальнейшей стандартизацией тестового метода.

2. Тиражирование экспертного опыта по интерпретации тестовых данных.

Важной отличительной особенностью ЭПС от любого другого психодиагностического инструментария является отделение базы знаний от компьютерной программы, осуществляющей автоматизированное исследование испытуемых. Это означает, что база знаний не является составной частью компьютерной методики (на языке программистов: не «прошита в код»), а существует независимо и доступна для просмотра и редактирования самим экспертам-психологам. Как правило, содержимое базы знаний (модель интерпретации тестовых данных) оформляется в виде файла, имеющего либо формат какой-либо распространенной базы данных (например, входящей в стандартный состав Microsoft Office базы данных Microsoft Access), либо в формате обычного текстового файла (Microsoft Word). Это принципиальное положение разработки ЭПС возводит базу знаний в ранг вполне самостоятельного и востребованного объекта, оперирование с которым способствует тиражированию экспертного опыта по интерпретации результатов тестирования и разрешению традиционных для психодиагностики в целом положений, связанных с необходимостью модификации компьютерных методик. Модификация ЭПС может осуществляться путем модификации базы знаний самим экспертом-психологом без необходимости перепрограммировать компьютерную методику. Модифицированная база знаний может тиражироваться простым копированием, пересылкой по электронной почте.

Возможность оперировать с базой знаний как с самостоятельным объектом порождает важный эффект социального плана. Некоторые организации, имеющие у себя как психологическую службу, так и штат программистов (например, такие ведомства как МВД или МЧС), скорее нуждаются не в компьютерных психодиагностических методиках (запрограммировать методику не представляет собой никаких проблем даже для начинающего программиста), сколько в квалифицированных результатах психодиагностического тестирования. В этом отношении база знаний как аккумулятор опыта квалифицированных психологов может оказать незаменимую службу.

Таким образом, проведение работ по формированию базы знаний путем создания моделей интерпретации тестовых данных приводит к эксплицированию и отчуждению знаний опытных психологов-экспертов, превращая такие «отчужденные знания» в интеллектуальных ресурс психолога, осуществляющего процесс психодиагностического исследования испытуемого.

3. Обучение медицинских психологов.

Это положение естественно вытекает из предыдущего: гораздо проще передавать знания начинающим психологам, если они систематизированы и формализованы. Психолог, знания которого оказались эксплицированы, в процессе обучения студентов уже пользовался именно этим эксплицированным вариантом, поскольку систематизация значительно облегчает передачу знаний.

Однако здесь есть еще один эффект, обнаруженный нами во время чтения лекций по компьютерной психодиагностике студентам различных ВУЗов г.Санкт-Петербурга. Выяснилось, что не только базы психодиагностических знаний, но и сами по себе компьютерные психодиагностические заключения, сделанные на каких-то неведомых студентам испытуемых, оказались востребованы студентами, поскольку такие заключения дают четкое представление о том, что же можно получить в результате тестирования с помощью той или иной методики. Этот эффект существенным образом мог облегчить практическим психологам ситуацию, связанную с подбором психодиагностического инструментария для своих нужд. Прочитав заключения, сделанные даже на гипотетических испытуемых, действительно можно хорошо представить, «как и о чем» работает методика. Учитывая этот эффект, нами специально в целях обучения был разработан и издан каталог как «ручных» (т.е. написанных психологом), так и компьютерных психодиагностических заключений (Вассерман Л.И., Бочаров, Вассерман Е.Л., Вукс, Иовлев, Карпова, Ромицына, Червинская, Щелкова, 2002).

4. Необходимость создания эффективного и качественного профессионального инструментария для психологов.

В последние годы появилось множество компьютерных программ, претендующих на роль психодиагностического инструментария. Часто такие программы даже называют экспертными психодиагностическими системами, хотя абсолютно непонятно, кто же являлся экспертом-психологом, и чьи же знания и опыт содержат такие программы.

Профессиональное компьютерное заключение ориентировано исключительно на психолога или врача и построено на основе концепции, предполагающей «перенос» знаний и опыта психологов по интерпретации результатов тестирования в базу знаний. Как правило, текст содержит соответствующую психологическую лексику, терминологию, которой владеют психолог или врач, а также стиль, принятый при написании психодиагностических заключений психологом в клинике. За некоторым исключением испытуемому этот текст не предназначен в силу необходимой этики психодиагностического тестирования.

Таким образом, проблема формализации знаний и опыта медицинских психологов по интерпретации результатов тестирования испытуемых и создание ЭПС является актуальным и востребованным в практике медицинской психодиагностики.

В историческом аспекте первой отечественной попыткой формализации процесса интерпретации результатов тестирования испытуемых являлась компьютерная программа для ЕС ЭВМ, осуществляющая интерпретацию результатов тестирования по методике MMPI (Иовлев, Иовлев, 1981). В систему были заложены продукционные правила интерпретации методики MMPI типа:

ЕСЛИ (8 шкала высокая) ТО (своеобразие восприятия, логики испытуемого, ориентация на внутренние критерии, отгороженность, дистанциированность) или

ЕСЛИ (7 шкала повышена) ТО (склонность к навязчивому беспокойству, ограничительное поведение).

Последовательно перебирая эти правила, компьютер предлагал пользователю то, что было характерно для конкретного испытуемого. Однако получаемые автоматизированные заключения не удовлетворяли практическим нуждам клиники. Основные претензии предъявлялись к качеству компьютерной интерпретации (т.е. сильное расхождение между интерпретацией, выполненной психологом, и интерпретацией, сделанной компьютером), а также к виду заключения, представляющему собой лишь набор разрозненных и порой противоречивых свойств личности испытуемых.

Действительно, с технической точки зрения создать алгоритм интерпретации результатов тестирования достаточно просто: для этого надо сформулировать правила интерпретации в виде «если – то». Например, если «шкала D (депрессии) методики MMPI» лежит в диапазоне 70Т-75Т – то «у испытуемого выражена внутренняя напряженность, неудовлетворенность ситуацией, пассивность, пессимизм». Эти правила, написанные для каждой шкалы и «прошитые» в код программы, обрабатываются компьютером последовательно, в порядке написания, а результаты, то есть психологические характеристики испытуемого предъявляются пользователю-психологу. Однако, с точки зрения психодиагностической практики конструирование компьютерной интерпретации результатов тестирования таким способом оказывается плачевным. Например, при определенных тестовых данных, таких как одновременный подъем шкал D (депрессии) и Ma (гипомании) опросника MMPI, компьютер формирует следующее противоречивое заключение: «у испытуемого выражена внутренняя напряженность, неудовлетворенность ситуацией, пассивность, пессимизм, активность, оптимистическая оценка перспективы, энергичность, активность». В то же время опытный клинический психолог обладает знаниями, позволяющими ему разрешить представленный выше противоречивый паттерн методики MMPI и описать состояние испытуемого как неустойчивое, эмоционально лабильное или «смешанное».

Основная сложность процесса выявления и структурирования интерпретационных схем эксперта-психолога заключается в том, что экспертные знания и опыт носят во многом интуитивный, неосознаваемый, имплицитный и трудновербализуемый характер. Знание интерпретационных схем и умение использовать их на практике при написании психодиагностического заключения – это имплицитные знания, т.е. знания, которые трудно вербализуются, но, тем не менее, проявляются в процессе решения задачи.

Анализ многочисленных когнитивных исследований, выполненных в рамках модели «новичок-опытный», показал, что индивидуальный опыт эксперта, в свою очередь, являясь сложной системой, представлен единством или интеграцией знаний и умений как способов и правил решения проблем и задач (Червинская, 2010). В основе экспертного умения лежит многолетняя практика решения проблем и принятия решений, которая трансформирует декларативную память в процедурную, обеспечивая то, что Дж.Андерсон (2002) назвал процедурализацией. В процессе научения (многолетней практики) у эксперта формируется навык – свернутое (автоматизированное, интериоризированное) действие, не требующее осознанного контроля (Александров, Максимова, 1999). Формирование навыка связано со способностью субъекта к построению систем кодирования (категоризации) и формированию интенсиональных знаний в виде некоторых предметных закономерностей (структурированных процедурных правил) (Брунер, 1977; Величковский, 2006, т. 2).

Отсюда становится очевидным, что проблема формализации знаний и опыта медицинских психологов по интерпретации результатов тестирования испытуемых предполагает проведение специфических работ по извлечению экспертных знаний путем взаимодействия двух специалистов – когитолога и эксперта-психолога – с целью выявления, структурирования и четкого формулирования интерпретационных схем.

Нами разработана психологическая концепция извлечения экспертных знаний (Червинская, 2009, 2010) как процесса взаимодействия субъектов труда с целью построения модели экспертных представлений и рассуждений. В рамках концепции предложены коммуникативные модели взаимодействия субъектов труда, позволяющие осуществлять выбор соответствующих методов извлечения экспертных знаний; мета-язык взаимодействия когитолога и эксперта в виде конкретного набора инструментов структурирования декларативного и процедурного типа, а также процессуальная схема извлечения экспертных знаний как алгоритм прохождения стадий, этапов и шагов последовательной экспликации экспертных представлений и рассуждений.

Коммуникативные модели взаимодействия субъектов труда характеризуются специфическим наполнением типовой структуры (субъект, объект, цель деятельности, перцепция, методы извлечения знаний и результат деятельности) и определяют диадическое и многомерное субъект-объектное и субъект-субъектное взаимодействие. Субъект-объектная модель задает взаимодействие, при котором активность проявляет один из участников, а в качестве объекта выступает как человек (когитолог или эксперт), так и другие материальные носители (текст, экспериментальные данные, компьютерная программа). Субъект-субъектная модель определяет взаимодействие, при котором активность проявляется обоими участниками, процесс извлечения знаний имеет творческий, двухсторонний характер, создающий предпосылки для возникновения синергетического эффекта, инсайта, осознания имплицитно усвоенных экспертом оснований категоризации. Выбор конкретной коммуникативной модели предопределяет структуру взаимодействия, включая необходимость использования конкретных методов в процессе извлечения экспертных знаний.

Мета-язык взаимодействия субъектов труда включает в себя набор инструментов структурирования декларативного и процедурного типа. В качестве когнитивных артефактов как искусственных устройств, интегрирующих знания, выступают конкретные виды когнитивных структур, опосредованные классами базовых семантических отношений: деревья, кластеры, пространства, цепочки и сети. Инструменты структурирования, определяемые в общем виде как когнитивные артефакты и схемы их использования, представляют собой набор формализмов, полученных в результате использования выделенных когнитивных артефактов в процессе концептуального анализа знаний. К инструментам структурирования декларативного типа относятся классификационные деревья, фреймы, ассоциативные сети, шкалы, семантические сети и пр., а к инструментам структурирования процедурного типа – деревья решений, деревья целей, иерархические сети действий, продукционные правила, сценарии и пр. Набор инструментов структурирования может расширяться с учетом специфики разных предметных областей.

Процессуальная схема извлечения экспертных знаний задает алгоритм прохождения стадий, этапов и шагов в процессе извлечения экспертных знаний. В соответствии с феноменами эксплицирования процессуальная схема включает в себя следующие стадии: «Подготовка», «Выявление», «Структурирование» и «Результат». Этап «Выявления» экспертных знаний характеризуется субъект-субъектным взаимодействием когитолога и эксперта, способствующем осознанию экспертом имплицитно усвоенного основания категоризации. Этап «Структурирования» характеризуется преимущественно субъект-объектным взаимодействием и включает этапы «Категоризации» и «Процедурализации», предназначенные для формирования модели экспертных представлений с помощью инструментов структурирования декларативного и процедурного типа.

В соответствии с концепцией извлечения экспертных знаний конструирование экспертных систем в области медицинской психодиагностики основано на построении моделей интерпретации тестовых данных путем извлечения знаний экспертов – медицинских психологов. Методология построения моделей интерпретаций тестовых данных (как следствие процессуальной схемы) включает в себя последовательность четырех этапов и пяти взаимосвязанных с ними шагов (рис. 1).

Рис. 1. Методология построения моделей интерпретаций тестовых данных.

На каждом этапе участниками взаимодействия осуществляется выбор конкретной коммуникативной модели и использование инструментов структурирования декларативного или процедурного типа. Формирование исходной и диагностической систем понятий, установление взаимосвязей и семантических отношений, проведение процедурализации и построение системы иерархически организованных продукционных правил задают последовательность разработки моделей интерпретации тестовых данных в области медицинской психодиагностики.

В качестве иллюстрации предложенной методологии представим процесс построения модели интерпретации результатов тестирования для методики «Семантический дифференциал времени» (СДВ) (Вассерман, Трифонова, Червинская, 2009)

1. Выявление экспертного гештальта. Под экспертным гештальтом понимается основной принцип интерпретации результатов тестирования, который в данном случае основан на исследованиях больных с эндогенными и психогенными депрессиями. Результаты исследований позволяют на основании ответов испытуемых соотносить их с тремя группами: нормативной, группы больных с эндогенной депрессией и группы больных с психогенной депрессией. Близость испытуемого к той или иной группе определяется с помощью коэффициента корреляции Спирмена, а клинический опыт эксперта-психолога позволяет осуществить проекцию экспертных представлений на отобранные испытуемым прилагательные методики СДВ. Кроме того, существенным является представления эксперта-психолога о том, что означают те или иные факторы, получаемые с помощью методики.

2. Формирование исходной системы понятий. Процесс осуществлялся путем четкого формулирования полюсов факторов, полученных в результате проведенного факторного анализа: активности времени (АВ), эмоциональной окраски времени (ЭВ), величины времени (ВВ), структуры времени (СВ) и ощущаемости времени (ОВ).

3. Формирование диагностической системы понятий. Диагностическая система понятий, содержащая интервалы, паттерны и множественные сочетания паттернов, строилась следующим образом Каждый из факторов, а также интегральный показатель для каждого описания (настоящее, будущее, прошедшее) были разбиты на четыре интервала. Учитывая большое число интервалов и паттернов, в том числе противоречивых, описание каждого интервала и множественных сочетаний последовательно, (что называется «в лоб») простым перебором не представляется возможным. Поэтому описанию подвергались паттерны, имеющие диагностическое значение, в процессе построения дерева решений, описанном на следующем этапе.

4. Установление взаимосвязей и семантических отношений между понятиями. Под структурой диагностических понятий понимается система уровней вложения множественных интервалов и паттернов, полученная в результате установления взаимосвязей между диагностическими понятиями. Процесс извлечения экспертных знаний осуществлялся путем построения модифицированного дерева решений. Модификация дерева решений заключалась в расширении количества ветвлений (дерево уже не двоичное), а также в возможности описания неконечных вершин. Деревья решений строились для каждого из трех аспектов времени (настоящего, прошедшего, будущего) в отдельности.

На рис. 2 представлен фрагмент дерева решений, используемый при создании структуры диагностических понятий для описания настоящего времени.

Рис. 2. Фрагмент дерева решений для создания структуры диагностических понятий для построения модели интерпретации с помощью методики СДВ (описание настоящего времени).

В процессе построения такого дерева психологу каждый раз приходилось учитывать верхний уровень (например, повышенный или пониженный показатель структурированности будущего времени) и составлять промежуточные описания (по сочетаниям шкал), учитывая то, как они будут согласовываться с выраженностью верхнего уровня. Ниже представлен пример вложенных правил, соответствующих выделенным вершинам на рис. 2.

Если (5,49 ≤ АВн ≤ 6,2) ТО {Актуальное состояние испытуемого определяется умеренно выраженным психическим напряжением, которое может проявляться энергичностью, инициативностью, чувством наполненности жизни событиями, впечатлениями и делами. Для испытуемого характерно деятельное отношение к жизни, стеничность, ориентированность на успех в индивидуально значимых сферах жизнедеятельности, стремление к расширению сферы социальных контактов. Испытуемый не склонен к монотонной, рутинной деятельности, стремится к новизне и разнообразию, ощущает высокий жизненный тонус, готовность к активным действиям.

Если (ЭВн < 2,08 & ВВн < 2,92) ТО {Вместе с тем энергичная деятельность и обилие впечатлений могут субъективно восприниматься испытуемым как суета, вынужденная, порой бесцельная активность, не отвечающая его истинным потребностям и ценностям.

Если (-3,3 ≤ ЭВн < 2,08) ТО Основной фон переживаний характеризуется превалированием нейтральных и отрицательных эмоций. Неудовлетворенность актуальной жизненной ситуацией может проявляться вспышками раздражения, безотчетной тревоги, неуверенностью, потребностью в изменениях, непоследовательностью, лабильностью настроения. Свою деятельность и образ жизни испытуемый расценивает как бремя, источник неприятных переживаний. Высокая активность может рассматриваться как тягостная обязанность либо как средство отвлечения от мрачных мыслей и переживаний. Испытуемый фрустрирован, не видит возможностей для реализации внутреннего потенциала, ощущает себя жертвой обстоятельств.}}

В целом полученную модель компьютерной интерпретации результатов тестирования испытуемых с помощью методики СДВ схематически можно изобразить следующим образом (рис. 3).

Рис. 3. Модель интерпретации результатов тестирования с помощью методики СДВ.

5. Проведение процесса процедурализации.

Процесс процедурализации осуществляется следующим образом: изображенная на рис. 3 структура записывается в виде иерархических правил продукции (табл. 1). Запись начинается с названия рубрик. Поскольку они входят в текст компьютерной интерпретации безусловно, т.е. не зависят от результатов испытуемого, им искусственно приписывается условие, которое является истинным всегда: 1=1.

Таблица 1. Фрагмент базы знаний методики СДВ

Отметим, что последовательное прохождение описанных выше этапов позволяет сформулировать иерархическую систему продукционных правил в явном (эксплицитном) виде, которая может стать основой для формирования базы знаний.

Отметим, что формализация знаний и опыта медицинских психологов по интерпретации результатов тестирования испытуемых для формирования базы знаний является достаточно трудоемким процессом, требующим совместных усилий коллектива разработчиков: когитолога и эксперта-психолога.

В настоящий момент можно говорить о появлении новой сферы деятельности психологов, в первую очередь психологов-практиков, готовых поделиться своими знаниями и опытом для создания компьютерной интерпретации результатов тестирования. Задачи, которые предстоит решать психологам в рамках этого направления, не являются традиционными для психологов-практиков, и, как следствие, требуют некоторого обучения азам технологии извлечения знаний для понимания того, что же им предстоит сделать. Одно дело приобретать опыт, решая профессиональные задачи, а другое – делиться этим опытом, да еще и нетрадиционным путем, через эксплицирование собственных знаний, их формализацию с последующим массовым тиражированием. Это предъявляет определенные требования к личностным особенностям психологов-экспертов: важно не только качество экспертности как опытности в решении профессиональных задач, но и определенная способность к эксплицированию знаний, решимость взяться за новое и непривычное для себя дело. Однако и этих качеств может быть недостаточно, если не будет специальных знаний: а как же все-таки строить модель интерпретации тестовых данных. Настоящее статья в какой-то степени восполняет этот пробел.

Литература

1. Александров И.О., Максимова Н.Е. Научение // Современная психология / Под ред. В.Н. Дружинина. М. 1999. C. 201-217.
2. Андерсон Дж. Р. Когнитивная психология. 5-е изд. СПб.: Питер. 2002. 496 с.
3. Брунер Дж. Психология познания: За пределами непосредственной информации. М. 1977. 412 с.
4. Вассерман Е.Л., Геппенер В.В., Голубев А.Б., Осипов К.Л. Применение структурного метода при автоматическом анализе электроэнцефалограмм. // Новые диагностические технологии. Организация службы функциональной диагностики: Материалы I  республиканской  научно-практической  конференция по функциональной диагностике 8-10 октября 1996 г. М. 1996. С. 103.
5. Вассерман Л.И., Бочаров В.В., Вассерман Е.Л., Вукс А.Я, Иовлев Б.В., Карпова Э.Б., Ромицына Е.Е., Щелкова О.Ю. Компьютерный психодиагностический инструментарий в практической работе медицинского психолога. Методические рекомендации. СПб. 2002. 46 с.
6. Вассерман Л.И., Трифонова Е.А., Червинская К.Р. Семантический дифференциал времени: экспертная психодиагностическая система в медицинской психологии // Пособие для врачей и психологов. СПб.: СПбНИПНИ им. В.М. Бехтерева. 2009. 43 с.
7. Вассерман Л.И, Щелкова О.Ю. Медицинская психодиагностика: введение в теорию, практику, обучение. СПб: М.: Издательский центр «Академия». 2003. 736 с.
8. Величковский Б.М. Когнитивная наука: Основы психологии познания: в 2 т. М.: Смысл, Издательский центр «Академия». 2006. Т. 1 – 445 с. Т. 2 – 448 с.
9. Иовлев А.Б., Иовлев Б.В. Об использовании ЭВМ для совершенствования психодиагностической работы клинического психолога // В кн.: Организация психиатрической  и   неврологической  помощи  городскому  населению. – Л. 1981. С. 133-137.
10. Червинская К.Р. Психологические основы инженерии знаний. Учебное пособие. СПб: Факультет психологии СПбГУ. 2009. 148 с.
11. Червинская К.Р. Психология извлечения экспертных знаний субъектов труда // автореферат на соискание ученой степени д. псх. н. по специальности 19.00.03, 2010. 46 с.
12. Червинская К.Р., Щелкова О.Ю. Медицинская психодиагностика и инженерия знаний // под ред. Л.И. Вассермана. – СПб.: Академия, 2002. – 624 с.
13. Chervinskaya K.R., Wasserman E.L. Some methodological aspects of tacit knowledge elicitation // J. of Experimental & Theoretical Artificial Intelligence. 2000. V. 12, № 1. P. 43-55.

Ссылка для цитирования

Червинская К.Р. К вопросу о формализации знаний и опыта медицинских психологов по интерпретации результатов тестирования испытуемых. [Электронный ресурс] // Медицинская психология в России: электрон. науч. журн. 2011. N 1. URL: http:// medpsy.ru (дата обращения: чч.мм.гггг).

Все элементы описания необходимы и соответствуют ГОСТ Р 7.0.5-2008 "Библиографическая ссылка" (введен в действие 01.01.2009). Дата обращения [в формате число-месяц-год = чч.мм.гггг] – дата, когда вы обращались к документу и он был доступен.