Качество ответов школьников о социально

Качество ответов школьников о социально-экономическом положении семьи.
Обобщение исследований.
Измерение. Школьники. Качество ответов.
Школьники все чаще выступают в роли единственных респондентов в
эмпирических исследованиях в социальных науках. В тоже время, в фокусе исследования
зачастую не только мнение или отношение школьников, но и информация по целому ряду
фактологических вопросов, в том числе о семье. Не верифицируя эту информацию из
других источников, исследователи неявно предполагают, что ответы школьников на такие
не подвержены ошибке измерения, или, по крайней мере, что эта ошибка примерно такая
же, как и в ответах взрослых. Но так ли это? Не превышают ли эти вопросы уровень
компетентности респондентов среднего и старшего школьного возраста. Действительно
ли школьники могут ответить на вопросы об образовании или профессии родителей,
доходе семьи, о вопросах, позволяющих оценить социальный, культурный, материальный
капитал и другие аспекты социально-экономического положения семьи?
Мета-аналитические
исследования
связи
образовательных
достижений
и
социально-экономического положения семьи показывают, что результаты исследований
зависят, в том числе, и от подходов к измерению обоих понятий, особенно характеристик
семьи учащегося [Sirin, 2005; White, 1982; White и др., 1993]. Во-первых, подходов к
определению социально-экономического положения семьи очень много. Во-вторых, сам
по себе опрос детей является в определенной степени методологическим вызовом, так
выбор индикатора СЭП зачастую определяется такими факторами как уместность или
возможность задавания вопроса, а не его необходимость для целей исследования.
Однако не так часто задается вопрос о надежности измерения данных концептов в
ситуации, когда источником информации выступают дети. Исследований немного и они
разрозненные.
Целью данной работы является анализ качества подходов к измерению социальноэкономического положения семьи в опросах детей школьного возраста. Здесь можно
сформулировать три взаимосвязанных исследовательских вопроса:
1.
Какие
из
переменных-индикаторов
СЭП
семьи
обладают
большей
согласованностью в ответах детей и родителей?
2.
Насколько различные переменные-индикаторы СЭП семьи подвержены
тенденции к пропуску ответов?
3.
Какие характеристики респондентов или исследования могут быть связаны с
качеством ответов на вопросы о СЭП семьи?
Методологически исследование будет построено по методу систематического
обзора без статистического обобщения [Petticrew, Roberts, 2006], то есть на анализе
статей, в которых изучается качество информации о социально-экономическом
положении семьи, собранной посредством опроса детей школьного возраста. В результате
будет сделано обобщение качества тех или иных подходов к измерению социальноэкономического положения семьи при опросе детей школьного возраста. Выявлены
преимущества и недостатки переменных, с помощью которых наиболее часто
операционализируют понятия СЭП семьи. Несмотря на наличие исследований в данной
области как таковых, систематических обобщений практически нет. Последнее было
проведено в 1989 [Looker, 1989].
Данными для исследования являются статьи, где фокус исследования был
направлен на анализ качества измерения тех или иных индикаторов СЭП семьи. Критерии
отбора статей в выборку были следующими: 1. Изучаются ответы детей школьного
возраста на вопросы о социально-экономическом положении семьи; 2. Методологическая
статья. То есть публикуемое исследование полностью посвящено анализу качества
вопросов; 3. Из итогового списка статей были исключены исследования, которые
фокусировались на узких или специфических группах населения, например, этнические
или расовые группы.
Поиск статей осуществлялся несколькими способами: метод снежного кома – по
спискам литературы статей, так или
иначе затрагивающих данную тему; поиск в
библиографических базах статей, которые ссылаются на уже найденные и включенные в
выборку статьи. Статьи отбирались на английском и русском языках, однако на русском
сугубо методологических статей, подходящих под критерии отбора, обнаружено не было.
В итоге было отобрано 16 статей.
Связь между ответами детей и родителей об уровне образования родителей
колеблется от средней до сильной. Среднее и медиана коэффициента корреляции равно
0,6 как для образования матери, так и для отца. Связь ответов о профессии варьируется
примерно в том же диапазоне, но среднее и медиана коэффициента корреляции немного
повыше – 0,7 для обоих родителей. То есть в половине случаев дети достаточно хорошо
отвечают на вопрос о профессии родителей, показывая высокую (выше 0,7) силу связи. С
возрастом точность ответов повышается для обоих индикаторов.
Коэффициент согласованности для переменной про образование равен около 0,5
для обоих родителей и в среднем 60% ответов совпадает. То есть, по данным
проанализированных статей, между ответами детей и родителей на вопрос об образовании
последних наблюдается умеренная по силе связь. Для вопроса о профессии среднее
значение каппа несколько выше – 0,7, что позволяет говорить о достаточно сильной связи
между ответами детей и родителей. В данном случае совпадает около 70% ответов.
C возрастом качество ответов увеличивается. Также структура семьи оказывается
значимым фактором для качества ответов. Если один из родителей (чаще отец) не
проживает вместе с ребенком, точность ответа ниже. В исследованиях, где тестировалась
связь качества ответов и успеваемости детей, было показано, что балл у тех, кто отвечает
правильно несколько выше балл по тесту [Jerrim, Micklewright, 2014; Kreuter и др., 2010;
Pueyo и др., 2007]. Также в тех статьях, где проверялась связь качества ответов детей с
СЭП семьи, она была обнаружена. Согласованность выше, если
выше уровень
образования (по ответам родителей) [Schulz, 2006]. Хотя стоит отметить, что в случае
обоих характеристик сила связи или различия в тестовых баллах достаточно небольшая.
Если говорить о тенденции к пропуску ответов, то здесь данные исследований в
большей степени различаются между собой. Так для профессии матери среднее
количество пропусков 12%, медиана – 9%. В переменной про профессию отца пропусков
несколько меньше – среднее 7%, медиана – 5%. В вопросах про образование родителей
ситуация немного лучше, особенно для матери. В среднем дети пропускают 7% (медиана
5%) в образовании матери и 8% (медиана 3%) в образовании отца.
Все исследования, в которых проверялась связь характеристик респондентов и
склонности к пропускам, показывают, что с возрастом уменьшается количество пропусков
в вопросах и об образовании, и о профессии родителей. Тип семьи также связан с
тенденцией к пропускам. В семье с двумя родителями вероятность пропустить ответ
значительно ниже. Однако с учебными достижениями и с СЭП семьи (ответы родителей)
склонность к пропускам ответов связана слабо или не связана совсем.