§ 5. Критерии эффективности практической работы псикодиагноста
Критерии эффективности практической работы психодиагноста связаны со следующими важнейшими факторами его профессиональной деятельности:
• обобщенной теорией;
• средствами и способами получения психологической информации;
• средствами и способами передачи психологической информации.
Если обобщенная теория, особенности владения ею отражают как уровень развития науки, так и степень профессиональной зрелости психодиагноста, то средства и способы получения психологической информации специфичны тем, что сама процедура их применения включает взаимодействие психодиагноста и обследуемого человека. Это значит, что в результате измерений получаются данные, которые будут зависеть не только от психодиагноста и уровня его квалификации, но и от тактики и стратегии поведения обследуемого.
Диапазон, в котором можно использовать стандартные психодиагностические методы, довольно узок и реально имеет смысл только на той выборке исследуемых, для которой он был создан и проверен на надежность, валидность, репрезентативность.
Эффективность работы практического психолога ^ стандартным, психометрическим методом будет определяться соответствием целей применения теста
ГЛШ IV
или методики для исследуемой выборки. Перенесение без предварительной перепроверки устойчивости тестовых норм теста с одной выборки на другую приводит к ошибкам.
Если психодиагност применяет тест, он должен точно знать тестовые нормы для исследуемой выборки.
Ошибки, которые возможны при отсутствии такой проверки, отражаются на прогностической валидности теста. Особенно это относится к зарубежным тестам, которые отечественные психологи склонны использовать без соответствующей нормативной проверки. Реальные языковые и межкультурные различия могут оказать существенное влияние на результаты — получение и интерпретация психологической информации будут существенно искажены.
Для того чтобы убедиться в пригодности того или иного теста, психодиагност должен уметь повторить процедуру, с помощью которой конструировался и обосновывался тест его создателями.
Психодиагност, применяющий методики, должен знать требования к методикам разного типа — это тоже показатель эффективности его работы, так как владение требованиями к методикам отражает ориентацию психодиагноста на профессионально оправданные процедуры получения психологической информации, а не на уровень житейской или обыденной психологии.
Остановимся на требованиях к методикам, которые сформулированы в отечественной психологии'. Измерительные методы (тесты) должны удовлетворять следующим требованиям:
• должны быть однозначно сформулированы цели, предмет и область применения методики. Предмет, диагностический конструкт должен быть соотнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевантность. Область применения должна быть четко выделена и обозначена, указан контингент обследуемых. Необходимо четко обозначить цели использования результатов;
• процедура проведения должна быть задана в виде однозначного алгоритма, который можно было бы передать
ПС ' См.: Общая психодиагностика / Под ред. А.А. Бодалева, ItO В.В. Столина. — М., 1987.
ЭВМ или специалисту, не имеющему специальных психологических знаний;
1 процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла (по статистическим или критериальным тестевым нормам). Выводы (диагностические суждения) на основе тестового балла должны сопровождаться указанием на вероятностный уровень статистической достоверности этих выводов;
I тестовые шкалы должны быть проверены на репрезентативность, надежность и валидность в заданной области применения. Другие разработки и пользователи должны иметь возможность повторить стандартизационные исследования в своей области и разработать частные стандарты (нормы);
процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволяющими автоматически отсеивать недостоверные протоколы;
головная методическая организация определенного ведомства (область применения) должна вести банк данных, собранных по тесту, и проводить периодическую коррекцию всех стандартных методик.
Экспертные методы:
должны быть однозначно сформулированы цели, предмет и область применения метода. Предмет должен быть соотнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевантность. Область применения, контингент испытуемых должны быть четко обозначены. Необходимо также четко обозначить цели использования результатов. Инструкция по применению снабжается указанием на требуемую квалификацию экспертов, их необходимое количество для получения надежных данных по методу независимых оценок;
инструкции к проведению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (тестов, рисунков, звуко- и видеозаписей и т. п.);
процедура обработки результатов должна включать в себя протоколирование промежуточных этапов Обработки данных, которое дало бы возможность перепроверить конечный результат другому эксперту;
пользователи и разработчики должны иметь возможность повторить нормативное исследование по измере- \(.1
нию экспертной согласованности на эталонном наборе данных;
• головная организация должна вести банк данных, обеспечивая подготовку пользователей и переподготовку их в соответствии с пересмотренными стандартами методики
Все методики должны проходить аттестацию в рамках головных методических организаций, которые составляют каталог методик, прошедших аттестацию.
Критерии эффективности работы практического психодиагноста во многом определяются его возможностями в составлении программы обследования — в подборе батареи методик. Ее составление основывается на принципе — максимум надежности при минимуме затрат.
Планирование программ обследования предполагает осуществление следующих операций.
1. Определить, на что метод направлен: на простое или ин-тегративное качество личности; на действие или на переживание или на содержание когнитивных процессов. Исходя из этого выбирается либо методика, либо батарея методик или тестов. Далее выбирается определенный тип метода: для изучения действий и переживаний чаще всего используются оценочные шкалы и самооценочные шкалы. Для изучения качеств личности используются опрос -ники, проективные или другие методы.
Батарея тестов состоит из нескольких тестов для изучения различных аспектов одного качества внутреннего мира человека (например, векслеровские шкалы интеллекта). Набор тестов состоит из нескольких тестов, посредством которых исследуется несколько разных, взаимно не связанных качеств внутреннего мира человека (например, 16-факторный опросник Кеттела, ММРУидр.).
2. Решить вопрос о том, каким образом с помощью выбранного метода будет определяться изучаемое свойство внутреннего мира человека.
Любая методика представляет собой стимульный материал, организующий ситуацию работы с ним, материал методики и будет определять способы действия исследуемого, в которых будет проявляться исследуемое качество. С этой точки зрения, по психологическому механизму порождения ответов, методы будут делиться следующим образом:
• методы, требующие от субъекта лишь выражения определенного отношения (согласие, ожидание, отрицание);
• методы, требующие активности памяти (дидактические тесты, тесты способностей, анамнестические беседы);
• методы, работа в которых зависит от практического мышления;
• методы, предполагающие поиск и установление сложных связей и отношений;
• методы, основанные на идее проекции состояний исследуемого на материал стимулов.
3. Основным вопросом, который необходимо решить, является вопрос о том, с помощью чего мы будем определять, исследует ли наш метод то, на что он направлен. С точки зрения построения и стандартизации, это вопрос о критериях валидности. Имеется ли такой критерий вообще в нашем распоряжении? Является ли он репрезентативным пользователем исследуемой характеристики личности? Является критерий простым или комплексным? Комплексный критерий состоит из нескольких относительно легко познаваемых компонентов. Например, вождение автомобиля — это комплексный критерий, содержащий такие элементы, как скорость реакции, острота зрения, наблюдение за движением транспорта, за дорожными знаками, готовность к решению сложных ситуаций, надежность и т. д. Поставленный психиатром диагноз «невротик», «здоровый» — это простой критерий, несмотря на то, что за ним стоят сложные явления внутреннего мира человека, но с точки зрения, например, проверки опросника для дифференциации здоровых и невротиков можно понимать упрощенно.
4. Надо решить вопрос о том, для какой цели метод создан? Для постановки диагноза, или даже дифференцированного диагноза, или для отбора и распределения кадров. Чем сложнее цель, для которой метод создан, тем он должен быть чувствительнее и разработанное. Разница есть и в методах, предназначенных для практической диагностики и для научных исследований. Первые должны иметь разработанные нормы и понятную интерпретацию результатов, в то время как для научных исследований достаточно представить данные в первичных результатах и интерпретировать их на уровне операциональных определений или в теоретических понятиях.
:) Абрамова Г С
5. Кто будет пользователем методов? Этот вопрос требует решения, так как если это психолог, тогда метод должен быть гораздо сложнее, чем когда им пользуется обученный неспециалист.
6. Надо определить, для какой популяции метод предназначен. Решающее значение будет иметь то, кто с помощью этого метода будет обследоваться — дети или взрослые, больные или здоровые, грамотные или неграмотные испытуемые, предназначен он для группового или индивидуального обследования и т. д
7. Есть ли какие-нибудь требования ко времени проведения обследования? Этот момент важен, так как время может быть фактором, влияющим на показатели результативности обследуемого, — время решения задачи, качество задач, решенных за единицу времени, — важный показатель в тестах достижений.
8. Надо определить требования к экономичности метода:
нужны ли специальные пособия, место для проведения обследования, оборудование и т. п.
9. Только после решения этих вопросов, обдумывания более или менее внешних предпосылок можно подойти к собственному построению метода. При построении его постоянно учитывается формальное и содержательное соответствие отдельных заданий теоретическим и практическим основам метода.
Основным критерием качества метода является его валидность, то есть обоснованность, достоверность.
С формальной точки зрения валидность бывает подлинная, которая выражает отношение между результатами метода и тем, что с помощью метода изучалось, и ложная, в которой зафиксирована видимость ценности метода. Подлинная валидность в зависимости от характера критерия, с помощью которого она проверяется, разделяется на эмпирическую и теоретическую, текущую и прогностическую.
Ложная валидность, как показывают исследования, имеет следующие варианты: очевидная валидность, валидность, основанная на опыте, на убеждении и на желании.
Очевидная валидность исходит из того, что якобы данный метод исследует реально существующие факты и закономерности. Например, неуверенность в себе исследуется с помощью вопросов на неуверенность, а знания по истории с помощью конкретных вопросов
по истории и т. п. Очевидная валидность соответствует подлинной валидности по содержанию только в том случае, если это дидактические тесты или тесты знаний. Во всех остальных случаях надо исследовать тест на валидность.
Валидность, исходящая из опыта, основывается на личном чувстве психолога, что так он «понимает испытуемого».
Валидность, опирающаяся на убеждение, исходит из необоснованного убеждения, что метод хорош, так как, например, хорошей является теория или результаты, полученные с его помощью.
Валидность всех психодиагностических методов, кроме дидактических, проверяется психометрическими методами. Процесс валидизации осуществляется с помощью подсчета различных коэффициентов корреляции для подсчета отношения между результатами метода и значением критерия. Коэффициент валидности может быть выражен и с помощью теста, коэффициента эктропии, теста Х2, с помощью прогностических таблиц и иных мер отношений.
Теоретическая валидность определяется на основе логического доказательства и эмпирического подтверждения последствий, вытекающих из теории, определяющей метод и его интерпретацию. Преимуществом теоретической валидизации является применение факторного или дискриминационного анализа, но в матрицу анализируемых переменных должны входить и методы с известной валидностью, чтобы с их помощью можно было адекватно интерпретировать факторы и синдромы.
Валидность отвечает на вопрос: «Измеряем ли мы то, что думаем измерять». С этой точки зрения можно говорить о следующих типах валидности.
1. По содержанию выражает соответствие между тестом и исследуемой характеристикой. Пригодность методики определяется, например, на основании ре-презентативно-го сходства между содержанием вопросов (заданий) и компонентами изучаемой характеристики личности; способ ее определения —логико-семантический.
2. Текущая валидность выражает соответствие между результатами и параллельно применяемыми критериями. Часто используется метод известных групп и сравнива-5*
ются результаты обеих групп. Важна точная идентификация известных групп.
3. Прогностическая валидность выражает соответствие между результатами теста и критерием спустя определенное время. Например, при исследовании тревожности мы анализируем поведение и сопоставляем его с результатами тестирования. Подходящим критерием, например, может быть успеваемость в школе и т. п.
4. Конструктная валидность выражает соответствие между тестом и изучаемой модальностью внутреннего мира человека. В этих целях часто результаты тестирования сравниваются с надежными тестами, измеряющими эту модальность.
Эмпирически очевидные показатели, которые служат для проверки валидности теста, обозначаются термином критерий. В большинстве процедур по валиди-зации имеет место внешний критерий. Обычно им является знакомый и очевидный индикатор психической характеристики, для определения которой и созда-i ется метод.
Критерием чаще всего бывает проявление изучаемой характеристики в повседневной жизни. Однако этс должны быть такие данные, которые сами по себе н могут заменить метод, иначе было бы бессмысленно создание методики. Достаточно тогда было бы использовать в качестве метода сам критерий. В патопсихологии критерием является диагноз врача. В промышленности — количество аварий, количество поощрений илк изобретений и др. В школе критерием может быть оценка успеваемости и поведения.
Критерий — это очевидный показатель тех характеристик личности, именно показатель, определяемый независимо от предъявления теста. Было бы ненаучным, если бы критерий исследовался и выражался — сознательно или неосознанно — в зависимости от знания тестовых результатов отдельных испытуемых.
Критерием может служить и ранее проверенный практический тест или общепринятая хорошая теория.
Критерием может быть и возраст, при. условии, что с возрастом регулярно повышаются или снижаются показатели изучаемого явления.
В группу деятельностных критериев относят, например, производительность труда, качество результатов труда, заработок и др. К постоянным и объективно данным критериям относят возраст, пол, количество пропусков на работе, текучесть кадров и т. п.
Результаты критерия редко бывают представлены в шкальных единицах (то есть интервалах или в равных единицах измерения в системе измерения). Чаще всего в единицах квантила: это порядковые степени, порядковое место или только качественные (номинальные) категории (типы). Тест имеет столько валиднос-тей, сколько имеется критериев. В традиционной теории тестов одним из основных критериев качества теста является его надежность.
Надежность метода подразумевает, что результаты одних и тех же испытуемых не меняются даже при повторном обследовании после более длительного времени.
Надежность проявляется в том, что в руках разных экспериментаторов выявляется одно и то же, результаты также независимы и от социодемографических факторов.
Источники результатов исследования можно рассматривать на следующих уровнях:
• несовершенство психодиагностического метода, который порождает постоянные и случайные ошибки;
• ситуация обследования (влияет на результаты время дня, размещение испытуемых при групповом тестировании и т.п.);
• личность экспериментатора; роль, в которой он выступает для обследуемых;
• психическое функциональное состояние обследуемых;
• способ оценивания результатов и их интерпретация.
Интерпретация результатов является объективной и однозначной только при условии, что она касается однозначного сравнения диагностической информации с эталоном или количественной нормой. Но когда психолог пытается объяснить, какой смысл имеет диагностическая информация, какое место она занимает в структуре деятельности субъекта, он попадает в область не науки, а искусства.
Таким образом, критерий эффективности практической работы психодиагноста определяется надежно- ,п-стью инструментов его работы и его профессиональ- 1ии
ной позиции, в которой большое место занимает рефлексия на содержание обобщенной психологической теории и его личное отношение к своей профессии, позволяющее строить отношение с клиентом, заказчиком и пользователем при получении психологической информации.
Задания для самостоятельной работы
I. При каких условиях эта психологическая информация может стать психодиагностической?
Психологическая информация о младшем школьнике:
не слышит взрослого с первого раза, надо много раз повторять, чтобы услышал;
невнимательный, постоянно отвлекается во время урока;
любит играть на уроке с игрушками;
встает во время урока и ходит по классу;
говорит учительнице «ты»;
плохо спит, кричит во сне;
очень робкий, не хочет и не умеет разговаривать с другими детьми;
не умеет играть с детьми, только дерется;
плохо ест, очень разборчив в еде;
ругается матом;
когда рассердится, то кричит и катается по полу;
пишет левой рукой;
очень подвижный, ни минуты не сидит спокойно;
склонен воровать и дарить украденное;
может соврать и не стесняется, когда его уличат;
ночью мокрая постель;
держит во рту руки, сосет палец;
грызет ногти;
все забывает: домашнее задание, поручение;
отказывается ходить в школу;
пропускает школу;
засыпает на уроке;
очень плохо пишет;
не любит читать сам, любит слушать, когда читают.
Психологическая информация о подростке:
часто бывает задумчив;
ничем сам не может заняться;
ему все надо напоминать, сам ничего не сделает;
не заправляет кровать;
врет, что чистит зубы — не делает этого;
стал заметно хуже учиться;
читает только сказки;
боится оставаться дома один;
очень любит огонь;
уходит из дома, может не прийти ночевать;
выдумывает то, что с ним никогда не было, и пытается убедить других, что это правда;
у него навязчивая идея;
все время говорит об одном и том же;
начал курить;
часто плачет;
злой стал, невозможно слово сказать;
упрямый, до бессмысленности, все делает наоборот;
никогда за собой не убирает;
чересчур сексуально активен;
ничем не интересуется;
не хочет работать вместе с родителями;
грубит матери и бабушке;
ворует дома;
ворует у других людей;
кричит во сне;
гримасничает;
притворяется, сюсюкает как маленький;
играет только с детьми младше себя;
ничего не боится.
Психологическая информация о старшем школьнике;
часто говорит о смерти;
любит одиночество;
говорит, что устал от людей;
слушает очень громкую музыку;
раздражается по любому поводу;
недоволен своей внешностью;
недоволен собой вообще;
считает, что плохо себя знает;
считает, что его никто не полюбит;
боится одиночества;
ищет острых развлечений;
любит риск;
презирает лиц своего пола;
не хочет становиться взрослым;
стремится стать взрослым, выглядит старше своих лет;
считает, что каждый человек имеет в жизни то, что заслуживает;
Глан |(
считает, что люди никогда не поймут его;
считает, что взрослые давно отстали от жизни и не понимают молодежь;
считает, что надо торопиться жить, чтобы все взять от жизни;
считает, что учиться необязательно, главное — найти свое место в жизни.
Психологическая информация о взрослом:
постоянно снижает фон настроения;
часто говорит о своей невезучести;
пьет спиртное в одиночку;
стремится надевать одежду противоположного пола;
говорит часто о себе в третьем лице;
никогда не бывает серьезным, постоянно шутит, балагурит;
избегает смотреть при разговоре в глаза другому человеку;
неразборчив в еде, может есть все, в том числе и несъедобное;
никогда не признается в своих ошибках;
принимая важное решение, обязательно обсуждает его с другими людьми;
очень боится плохо выглядеть в глазах других людей;
всегда недоволен, все видит в черном свете;
склонен по каждому поводу морализировать и поучать других, как жить.
II. Определите по высказыванию клиента. Как он воспринимает ситуацию психодиагностики (по материалам использования теста Дом — Дерево — Человек):
«Я не умею рисовать, у меня не получится»;
«Дом, — говорите, — для меня это большая проблема, я все время думаю о доме — дачу строю»;
«Как вам рисовать, подробно или схематично? »;
«Можно я нарисую несколько домов, я умею, вы увидите»;
«Все, что угодно, но человека я рисовать не буду—не обучен»;
«Рисовал я последний раз давно — в начальной школе»;
«Вы не смотрите, что я левой рисую, я и правой могу, но немного хуже»;
«Мне это легко, я немного рисую — так, для себя»;
«Психологи всегда что-то выдумывают, что можно по рисунку о человеке узнать»;
«Не думаю, что вы что-то обо мне скажете, я совсем не умею рисовать»;
«Вы скажете, как рисовать, и я нарисую»;
«Посмотрите, я правильно рисую? ».
III.Какую ошибку совершает психодиагност, сообщающий психологическую информацию о том, что у ребенка низкий коэффициент интеллекта:
«Ваш ребенок старался, но не все получилось»;
«Ваш ребенок, как каждый в его возрасте, развивается своими темпами, но он немного отстает от тех темпов, которые возможны»;
«Ваш ребенок часто затрудняется, не справляется при выполнении наших совместных заданий»;
«Ваш ребенок неполностью использует свои возможности»;
«Видимо, вы сильно переживаете по поводу неуспеваемости вашего ребенка»;
«Мне показалось, что задания ваш ребенок не всегда выполняет правильно»;
«Я чувствую, вас не все радует в вашем ребенке»;
«Я чувствую, вас беспокоит, как развит ваш ребенок»;
«Задание показало, что ваш сын испытывает затруднения при выполнении заданий на мыслительные операции»;
«Наверное, ваш ребенок не очень любит заниматься самообразованием» ;
«Несмотря на ограниченные возможности вашего ребенка, мы хотели бы приложить все усилия, чтобы помочь ему преодолеть этот барьер».
IV. Определите, какая, на ваш взгляд, инструкция клиенту создает ситуацию психологической помощи, а какая — ситуацию экспертизы:
«Ну, давайте попытаемся. Остановитесь на чувстве страха и паники, а затем позвольте вашим мыслям течь свободно по вашим ранним воспоминаниям и опишите мне первый образ, пришедший вам в голову»;
«Правильно, вы испытывали одно и то же чувство в разных ситуациях. Скажите, а не может ли быть такого, что вы сейчас каким-то образом освобождаетесь от детского стресса?»; «Скажите: Ябоюсь!»;
«Теперь перенеситесь в прошлое и расскажите мне все, что вы вспомнили»;
«Вам необходимо ознакомиться с содержанием всех предложенных характеристик и выбрать одну или несколько карточек, на которых, по вашему мнению, наиболее полно и похоже описан ваш характер. Если вы выберите несколько карточек сразу, то разложите их в порядке важности»;
«Перед тобой лежат карточки, на обороте которых написаны задания. Номера на карточках обозначают степень сложности заданий. Задания расположены по возрастающей сложности. На решение каждой задачи отведено определенное время, которое вам неизвестно. Я слежу за ним с помощью секундомера. Если вы не уложитесь в отведенное время, я буду считать, что задание не выполнено. Задания вы должны выбирать самостоятельно»;
После выполнения каждой последующей задачи психолог предлагает каждый раз испытуемому: «Теперь выбирайте задачу какой хотите трудности». Психолог фиксирует время решения задачи и после каждой говорит: «Эту задачу вы выполнили в срок Ставлю плюс» или «Вы не уложились во время. Ставлю минус»;
«Вам будут предъявляться арифметические задачи. Записывайте их решение налисте бумаги».
V. По рис. 1 и рис. 2 — кинетический рисунок семьи — поставьте психологический диагноз, т. е. кратко сформулируйте основное содержание конфликтных отношений между членами каждой семьи.
Рис.2
Яшищашанш__________________________
VI. Дайте экспертную оценку результатам испытуемого.
фамилия ______ имя ______ дата
Придумайте для каждой строчки четвертое слово, которое так должно быть связано по смыслу с третьим, как второе с первым.
Пример: лампа—свет—печка? (тепло)
1.
День
обед
вечер
ужин
2.
Инструмег
it работа
кукла
играют
3.
Охотник
ружье
рыбак
сеть
4.
Большой
маленький
[ СЫТЫЙголодный
5.
Слово
буква
дом
кирпич
6.
Июль
лето
апрель
осень
7.
Горячий
холодный
теплый
остывшая
8.
Борода
бритва
ногти
ножницы
9.
Лимон
кислота
конфета
сладость
10.
Дождь
сырость
жара
тепло
11.
Хулигансп
зо наказание
подвиг
геройство
12.
Рабочий
город
крестьян!
ш в поле
13,
Ласточка
быстрота
черепаха
медленно
14.
Луг
трава
лес
деревья
15.
Инвалид
костыль
близорук:
ий очки
16.
Чулки
штопать
одежда
одевать
17.
Свет
тьма
молчание
рассказ
18.
Лиса
хитрость
лев
сила
19.
Машинист
ка рукопись
слесарь
доски
20.
Палец
кольцо
ухо
сережка
21.
Вулкан
землетрясе
»ние река
вода
22.
Минута
час
сутки
месяц
23.
Школа
ученик
больница
больные
24.
Задача
решение
вопрос
ответ
25.
Колос
зерно
соты
мед
26.
Борозда
борона
колея
от колес
27.
Яд
заболевание
лекарство
вылечив ание
28.
Еда
обжорство
вино
смерть
29.
Художник
картина
писатель
книга
30.
Поезд
рельсы
автомобиль
дорога
31.
Море
вода
небо
облака
32.
Колбаса
мясо
сыр
сметана
33.
Урод
красота
дурак
умный
34.
Море
капля
толпа
из людей
35.
Магазин
продавец
библиотека
библиотекарь
36.
Море
река
площадь
улицы
37.
Часы
время
градусник
измеритель
VII. По образцам заданий, выполненных Витей X. (13 ле восстановите возможные инструкции, цели и задачи созда| телей этих методик.
1)
2)
ПСИХОЛОГИЧЕСКАЯ КОРРЕКЦИЯ
— Каждое утро я говорю себе Здравствуй' Мне это помогает жить
(Из разговора)
A PHP Error was encountered
Severity: Warning
Message: Trying to access array offset on value of type bool
Filename: type_foreach/info-bottom-page-bookpages.php
Line Number: 38
A PHP Error was encountered
Severity: 8192
Message: preg_replace(): Passing null to parameter #3 ($subject) of type array|string is deprecated
Filename: type_foreach/info-bottom-page-bookpages.php
Line Number: 38
«Лики родительской любви»
Мы все не избежим печального конца