Учителю на заметку #5 Оценивай... Не хочу!

Глубина знаний (DOK) по Веббу
Краеугольных камней в педагогике хватает. Но вокруг некоторых копьев сломано куда больше. Например, вокруг связки <цели - оценивание>. Я не специально, но о целеполагании посты положил первыми, так что про таксономию Блума и Марзано можете посмотреть при желании.
Но для меня никогда не было откровением что есть цели-идеалы и "достижимые" цели. Только вот достижимость, увы, не столь привязана к "волшебным" категориям постановки целей, а вовсе к реальным возможностям учеников, и частично - среды обучения (включая учителя как ресурс).
Только вот единственная оценка, даже со всей методологией её расчёта слишком мало говорит о возможностях ученика, и фактически ничего - о его конкретных трудностях. Поэтому, как бы было не лень, но приличных результатов без более-менее детальной оценки ученика в нескольких областях не достичь. С другой стороны - таких областей не должно быть много, равно как и уровней в них. Ну нет у типичного учителя с минимум сотней учеников/студентов времени на детальное оценивание, особенно если его можно отнести к "общей" грамотности.
Norman Webb
Свои соображения по этому поводу естественно имеются, но проще их приложить к хорошей основе, ибо не считаю себя уникумом. В данном случае мне попалась на глаза публикация уже далёкого 2002 года Нормана Уэбба: Depth-of-Knowledge Levels for Four Content Areas, в которой он предлагает оценивать определённые типы знаний/навыков деля их на 4 уровня с достаточно чёткими критериями разделения. Далее будет адаптированный перевод-пересказ этой статьи.

Чтение

Уровень 1

требует, чтобы студенты воспринимали или пересказывали факты; или могли использовать простые навыки или способности. Чтение вслух без анализа текста, а также его примитивное (базовое) понимание текста. Включенные в текст элементы требуют только поверхностного понимания и часто представляют собой дословный пересказ или простого понимания отдельных слов или фраз. Например, ученик должен уметь:
  • Поддержать разговор, сославшись на детали, содержавшиеся в тексте.
  • Использовать словарь для толкования значения слов.
  • Уметь выделять образные фрагменты в заданном для чтения отрывке.

Уровень 2

подразумевает некоторую умственную обработку помимо запоминания или воспроизведения ответа; требует как понимания, так и способности обработать текст или его фрагменты. Требуется анализ умозаключений на основе взаимной связи предложений.  Простейшее владение важными концепциями охватываются, но не сложным образом. Стандартные обороты и упоминаемые элементарные действия на этом уровне могут включать в себя такие слова как обобщить, интерпретировать, сделать вывод, классифицировать, организовать, собрать, показать, сравнить и определить (факт или мнение). Способность выделить основные (буквальные) идеи.
Естественно - обладание всеми навыками требуемыми уровнем 1. Некоторые примеры, которые представляют требования уровня 2:
  • Используйте контекстные подсказки, чтобы определить значение незнакомых слов.
  • Предсказать логичный результат на основе информации из выбранного отрезка.
  • Определить и обобщить основные события в повествовании.

Уровень 3

Глубокие знания становятся более конкретными. Студентам рекомендуется выходить за пределы текста. Тем не менее, они по-прежнему должны показать понимание идей текста. Студентов могут побуждать объяснять, обобщать или связывать идеи вместе. Стандарт и особенность уровня 3 это рассуждения и планирование. Студенты должны быть в состоянии объяснить ход своих мыслей. Особые требования могут включать в себя идентификацию абстрактной темы, вывод по всему тексту или применение уже имеющихся знаний. Требования могут также включать задачу установления поверхностных связей между разными текстами. Некоторые примеры, которые представляют, но не составляют все требования уровня 3:
  • Определите цель автора и опишите, как это влияет на интерпретацию выбранного отрезка.
  • Обобщите информацию из нескольких источников для соотнесения с конкретной темой.
  • Анализировать и описывать характеристики различных типов литературных произведений.

Уровень 4

Мышление высшего порядка занимает центральное место, а уровень знаний полагается глубоким. Стандартные требования или элементы оценивания на этом уровне вероятно будут относиться к "внешним" действиям во внеурочное время. Однако предоставление дополнительного времени необязательно - если требуемая работа это простой повтор несложных действий  не требует глубокого концептуального понимания и мышления высшего порядка. Студенты берут информацию по крайней мере из одного отрывка и их просят применить эту информацию к новой задаче. Их также могут попросить разработать гипотезы и выполнить комплексный анализ связей между текстами. Некоторые примеры задач и требований уровня 4:
  • Анализировать и синтезировать информацию из нескольких источников.
  • Изучить и объяснить альтернативные возможности на основе различных источников.
  • Опишите и проиллюстрируйте, как общие темы встречаются в текстах из разных культур.

Письмо

Уровень 1

требует, чтобы студент написал или изложил простые факты. Это написание или пересказ не включает в себя сложный синтез или анализ, только выделение основных идей. Студенты участвуют в перечислении идей или слов как при мозговом штурме  - до написания конечного текста; практикуются в базовой орфографии и грамматике; оценивают размер своего словарного запаса или их просят написать простые предложения. Студенты должны писать и говорить владея основными правилами грамматики. Это включает использование как соответствующей грамматики, так и пунктуации, использование заглавных букв где необходимо и подобное. Некоторые примеры, которые представляют, но не составляют все требования уровня 1:
  • Используйте знаки препинания правильно.
  • Определить основные грамматические структуры родного языка и уметь обращаться с правилами для исправления ошибок.

Уровень 2

Здесь уже требуется подумать. На этом уровне студенты занимаются подготовкой черновиков или кратких выступлений перед посторонними: ограниченное число целей и малой аудитории. Студенты начинают соединять идеи, используя простые организационные структуры. Например, студенты могут делать короткие заметки, излагать главное или представлять простые выводы. Текст может быть ограничен одним абзацем. Студенты демонстрируют базовое понимание и правильное использование таких справочных материалов как словарь, энциклопедический словарь или веб-сайт. Некоторые примеры требований и задач:
  • Составлять сложные предложения.
  • Использовать простые организационные стратегии для структурирования письменной работы.
  • Написать резюме которое содержит основную идею выбранного для чтения отрывка и включает уместные подробности.

Уровень 3

требует более высокого уровня умственной обработки. Учащиеся занимаются разработкой текстовых фрагментов из нескольких абзацев. Эти "композиции" могут включать в себя предложения сложной структуры и продемонстрировать элементы синтеза и анализа. Студенты демонстрируют понимание своей аудитории и цели фокусируя, организуя и используя соответствующие композиционные элементы. Композиционным элементом может быть использование хронологического порядка в повествовании или включение подтверждающих фактов и деталей в отчёте. На этом этапе студенты занимаются редактированием и доработкой для улучшения качества композиции. Несколько примеров задач:
  • Поддержка идей деталями и примерами.
  • Используйте интонации и формы речи соответствующие целям и аудитории.
  • Редактировать написанное, чтобы суметь провести сквозь текст последовательную логическую цепочку.

Уровень 4

Мышление высшего уровня является критичным. Стандартом на этом уровне является композиция абзаца, которая демонстрирует синтез и анализ сложных идей или темы. Есть свидетельство глубокого осознания цели и аудитории. Например, информационные документы включают гипотезы и подтверждающие их доказательства. Ожидается что студенты способны написать композиции определённой "интонации" и которые стимулируют читателя или слушателя; они посчитают возможным рассмотреть новые точки зрения на рассматриваемые идеи и темы. Пример того, что представляют собой требования уровня:
  • Напишите анализ двух фрагментов определив общую тему и задавшись целью, пригодной для обоих.

Если вы до сих пор полагаете что всё логическое, алгоритмическое и прочее начинается с математики - то вы совершаете жесточайшую ошибку. Мы начинаем говорить, общаться устно потом читать/писать и чуть-чуть арифметики. Поэтому навыки построения "разумных цепочек действий", прочувствование условий и вариантов происходит посредством банального общения, а не формальных логических выводов. Да, не все способны писать интересно. Но изложить свои мысли последовательно, подтвердить их и прочее - это идёт именно через навыки упомянутые только что. И личный опыт преподавания показал совершенно чётко - низкий уровень этих навыков не позволит получить высокие уровни в более специфичных.

Критерий источника затруднений

Фактически мы говорим о том, где предыдущие навыки непосредственно применяются. Только  это уже не они напрямую, а их преломление. Соответственно происходят сдвиги определяемые характером и источником типовых задач.

Уровни ГЗ в математике

Уровень 1 (Вспомнить)

включает в себя вспоминание информации: такой как факт, определение, термин или простая процедура, а также выполнение простого алгоритма или применение формулы. Таких, которые в математике называют одношаговыми - чётко определенная и прямолинейная алгоритмическая процедура как раз и относится к этому низкому уровню. Другие ключевые слова имеющие значение на первом уровне это «определить», «вспомнить», «узнать», «использовать» и «измерить». Такие глаголы, как «описать» и «объяснить» могут относиться к разным уровням в зависимости от того, что должно быть описано и объяснено.

Уровень 2 (Навык/Концепт)

уже требует умственных усилий вне привычных рамок. Оценивание на 2-м уровне требует от студентов принятия некоторых решений о том, как подойти к задаче или заданию, в отличие от уровня 1 требующего от студентов продемонстрировать механический ответ, выполнить известный алгоритм, выполнить заданную процедуру (как рецепт решения), или выполнить чётко определенную последовательность шагов. Ключевые слова, которые обычно отличают этот уровень: «классифицировать», «организовать», «оценить», «сделать наблюдения», «собирать и отобразить данные» и «сравнивать данные». Эти действия подразумевают больше одного шага.
Например, для сравнения данных необходимо сначала определить характеристики объектов или явлений, а затем сгруппировать или упорядочивать объекты. Некоторые глаголы действия, такие как «объяснить», «описать» или «интерпретировать» опять не относятся только к этому уровню, но уже нужны здесь, особенно если предмет требует от учащихся объяснить, что-то типа: "Как освещённость предмета влияет на  его массу?", в качестве подсказки указав на связь света и тепла.
Интерпретация информации из простого графика, требующего чтения информации из него, также относится к уровню 2. Интерпретация информации из сложного графика, который требует определённых решений о том, какие особенности принимать во внимание и как информацию из графика собрать воедино -  это уже уровень 3. С интерпретацией вообще нужно обращаться осторожно - только как с начальным навыком, ибо  некоторые "рецензенты-аналитики" трактуют навыки слишком узко: как в первую очередь числовые, фактически вычёркивая другие навыки типа визуализации (образного мышления) или естественной вероятностной трактовки; их считают более сложными просто потому что они менее распространены.
Другие элементы уровня 2 включают в себя объяснение учащимся цели своих действий и готовность использовать последовательности действий, необходимых для проведения экспериментов; собственно экспериментирование; проведение наблюдений и сбор данных; классификация, организация и сравнение данных; организации и представление данных в виде таблиц, графиков и диаграмм.

Уровень 3 (Стратегическое мышление)

требует рассуждений, планирования, использования доказательств и более высокого уровня мышления чем предыдущие два уровня. В большинстве случаев, требование объяснить ход своего мышления и является основной задачей уровня 3. Действия, которые требуют от учеников делать предположения, также относятся к этому уровню. Требования к познавательной (когнитивной) деятельность: оперировать со сложным и абстрактным.
Сложность происходит не от множественности ответов (это можно использовать и на уровнях 1 и 2), а от того, что задача более требовательна к рассуждениям - то, что правильно называть вдумчивостью. То есть способностью как минимум сконцентрироваться и самостоятельно рассмотреть задачу с разных сторон. То есть возможных ответов скорее всего действительно несколько и от студента требуется обоснование ответа данного им.
Другие действия необходимые на этом уровне: делать выводы из наблюдений; ссылаться на доказательства и разрабатывать логическую аргументацию в пользу задействованных понятий; объяснение явлений в терминах понятий (концептуальных в частности); использование концепций для решения конкретных проблем.

Уровень 4 (Расширенное мышление)

требует сложных рассуждений, планирования, разработки и необходимости размышлять в течение длительного периода времени (часто). Большие временные затраты не обязательны, если требуемая работа  - простые повторения и не требует концептуального понимания чего-либо и мышления "высшего порядка". Например, если студент должен измерять температуру воды в реке каждый день в течение месяца, а затем построить график, это будет классифицироваться как уровень 2. Однако, если студент должен провести речное исследование с учётом нескольких переменных - это будет уровнем 4.
На уровне 4 требования к познавательным способностям у заданий должны быть высокими, а работа  - очень сложной. Студенты должны (в смысле - просто вынуждены) установить несколько связей для понимания проблемы - связать идеи из предметной области или между несколькими областями; выбрать один подход среди много альтернатив для решения задачи, стараясь соответствовать критериям наилучшим образом.
Деятельность уровня 4 включает разработку и проведение экспериментов; выявление и задание связей между исследуемым и связанными с таковым понятиями и явлениями; объединять/смешивать и синтезировать идеи, порождая новые концепции; критика экспериментальных проектов (проведения экспериментов).

Научные уровни ГЗ

Говоря о науке в первую очередь следует понимать что понятие знание относится не только "к содержимому", но и процессам. А из-за редкости последнего, четвёртого уровня - следует куда тщательней охарактеризовать первые три.

Уровень 1. Вспомнить и "воспроизвести"

Уровень 1 - это вспоминание информации: фактов, определений, терминов или простых "процедур"; а также качественное выполнение простых научных процессов или процедур. Уровень 1 от учащихся требует продемонстрировать механический ответ, использовать известную формулу, следовать набору процедуру (типа рецепта) или выполнить чётко определенную последовательность шагов. Простая процедура чётко определена и обычно включает в себя только один шаг. Глаголы типа «идентифицировать», «вспомнить», «распознать», «использовать», «рассчитать» и «измерить» обычно используются для познания как действия и цели - сути того, что нужно освоить на этом уровне. Простые словесные задачи можно "перевести" непосредственно и решить только за счёт формул уровня 1. Глаголы типа «описать» и «объяснить» уже начинают использоваться, но с оглядкой на реальный уровень сложности, привносимый ими:  что именно должно быть описано и объяснено.
Учащийся, отвечающий на вопрос уровня 1, просто знает ответ или не знает: ответ не должен быть «выяснен» или «найден». Другими словами, если знание необходимое для ответа на тему вопроса автоматически даёт собственно ответ, то такой вопрос относится к первому уровню. Если знания, необходимые для ответа на вопрос, не дают ответа напрямую, то он как минимум соответствует уровню 2. Несколько примеров-пояснений:
  • Вспомнить или узнать факт, термин или свойство.
  • Уметь выразить в словах или диаграммами научную концепцию или отношение.
  • Предоставить или опознать стандартное научное представление для простого явления.
  • Выполнить обычную процедуру подобную измерению длины.

Уровень 2. Навык или концепт

Это уровень требует некоторой умственной обработки помимо запоминания или воспроизведения ответов. Знание содержания или подходящих процессов применяются более сложно. Изучаемые элементы требуют от студентов принимать решения о том, как именно подходить к вопросу или проблеме. Ключевые слова, которые обычно различают элементы уровня 2, включают в себя: «классифицировать», «организовать», «оценить», «провести наблюдения», «собрать и отобразить данные» и «сравнить данные». Эти действия предполагают более одного шага. Например, для сравнения данных сначала надо определить характеристики объектов или явления, а только потом сгруппировать или упорядочить. Действия второго уровня включают выполнение наблюдений и сбор данных; классифицировать, организовать и сравнить данные; организация и отображение данных в форме таблиц, графиков и диаграмм.
Некоторые глаголы действия, такие как «объяснить», «описать» или «интерпретировать» уже применимы, но в соответствии со сложностью относящегося к ним действия. Например, интерпретация информации из простого графика, требующего чтения информации из него, относится к уровню 2. Задания, которые требуют интерпретации сложного графика, в частности - решения относительно его особенностей, и как информация из графика извлекать - уже соответствует уровню 3. В качестве примеров-пояснений можно рассмотреть:
  • Укажите и объясните связь между фактами, терминами, свойствами или переменными.
  • Опишите и объясните примеры научных понятий и того, что ими только кажется.
  • Выберите процедуру в соответствии с указанными критериями и выполните её.
  • Сформулируйте типовую задачу на основе предоставленных вам данных и условий.
  • Организовывать, представить и интерпретировать данные.

Уровень 3. Стратегическое мышление

Этот уровень требует рассуждений, планирования, использования доказательств и более высокого уровня мышления, чем предыдущие два уровня. Когнитивные требования на уровне 3 требуют работы со сложными и абстрактными элементами. Сложность заключается не только в том, что может быть несколько ответов (это доступно и для уровней 1 и 2), но и в том, что многоэтапные задачи более требовательны к рассуждениям. В большинстве случаев от студентов требуется объяснить ход своего мышления; то, что требует очень простого объяснения буквально в пару слов, должно быть на уровне 2. Задание, у которого есть варианты возможного ответа и требует от студентов осмысленного обоснования предложенного ответа, скорее всего соответствует уровню 3.
Экспериментальные проекты на уровне 3 обычно включает более одной зависимой переменной. Другие мероприятия уровня 3 включают в себя выводы из наблюдений; привести подтверждения и разработать логические аргумент в пользу понятий; объяснение явлений в терминах концепций; используя понятия уметь решать нестандартные проблемы. Ознакомьтесь с несколькими примерами:
  • Выделить вопросы исследования и разработать программу исследования для научной проблемы.
  • Решать нестандартные проблемы.
  • Разработать научную модель для сложной "ситуации", процесса, явления и т.п.
  • Сделать выводы основываясь на экспериментальных данных.

Уровень 4. Расширенное мышление

Задачи на уровне 4 имеют высокие когнитивные требования и являются очень сложными. Студенты должны связывать несколько элементов одновременно - связать идеи внутри предметной области или между несколькими областям. При этом они должны выбрать или разработать единственный подход из множества вариантов решения проблемы. Многие готовые "инструменты" не достаточны для уровня 4. Однако сами стандарты, цели и задачи могут быть изложены таким образом, чтобы облегчить овладение расширенным мышлением. Например, разработка обобщений полученных результатов и использованных стратегий; применение их в новых проблемных ситуациях. Это - цель 4-го уровня. Многие, но не все, оценки эффективности или не полностью завершённые выводы (так называемые открытые заключения) будут 4 уровня.
Данный уровень требует сложных рассуждений, экспериментального проектирования и планирования, и, вероятно, потребуется длительный период времени для научных исследований или выполнения нескольких этапов оценивания. Однако длительность - не является отличительным фактором. Типовые повторы или если нет нужды в концептуальном понимании и "хитростей" мышления - это не уровень 4. Например, если студент должен измерять температуру воды в реке каждый день в течение месяца, а затем построить график, это будет классифицироваться как деятельность уровня 2. Тем не менее, если студент проводит исследования реки которое требует учета многих переменных, это скорее будет уровень 4.
Некоторые другие примеры-комментарии приведены ниже:
  • На основе предоставленных  из сложного эксперимента данных, новых для студента, "вычислить" фундаментальные отношения между несколькими имеющимися переменными.
  • Провести расследование, от определения проблемы до разработки и проведения экспериментов, анализа его данных; сделать выводы.
Если от математики и естественных (в основном) наук мы не ждём неприятных сюрпризов, то вольница царящая в гуманитарных предметах просто взывает к аккуратности в требованиях и формулировках.

УЗ в отраслях социальной направленности

Уровень 1. Вспомнить информацию

На этом уровне у студентов просят вспомнить факты, термины, концепции, тенденции, обобщения и теории;
распознавать или идентифицировать конкретную информацию, содержащуюся в графике, например. Этот уровень обычно требует, чтобы студенты идентифицировали, перечислили или определили. Вопросы на этом уровне обычно подразумевают чтобы ученик вспомнил: кто, что, когда и где. Действия которые требуют от учащихся «описать» и «объяснить» обычно относятся к уровням 1 или 2 в зависимости от того, что должно быть описано и объяснено. Уровень 1 «описать или объяснить» требует вспомнить, повторить или воспроизвести информацию. Задания, в которых от учащихся требуется  распознавать или идентифицировать конкретную информацию содержащиеся в картах, схемах, таблицах, графиках или рисунках, как правило относится к уровню 1.

Уровень 2 Основные рассуждения

Тут требуется подумать дополнительно, помимо запоминания или воспроизведения ответов. Этот уровень обычно требует, чтобы студенты противопоставить или сравнивать людей, места, события и концепции; преобразовывать информацию из одной формы в другую; давать примеры; классифицировать или сортировать предметы по значимым категориям; описать, интерпретировать или объяснить проблемы и проблемы, модели, причины, причины и следствия, значение или влияние,
отношения, точки зрения или процессы. Уровень 2 «опишите или объясните» потребует от студента выхода за рамки описания или объяснения "вспомненной" информации; чтобы описать или объяснить результат : собственно «как» или «почему».

Уровень 3 Комплексное рассуждение

Уровень 3 требует рассуждений, использования доказательств и более высокого уровня мышления, чем
предыдущие два уровня. Студенты выходят за рамки объяснения или описания «как и почему»: обоснование «как и почему» с на практике или теоретически (доказательств). Познавательные требования на уровне 3 относятся к более сложными и более абстрактными элементам чем прежде. Уровень 3 включает в себя подготовку выводов; приведение доказательств; применение концепций к новым ситуациям; использование концепций для решения проблем; анализ сходств и различия в трудностях и проблемах; предлагать и оценивать решения проблем; распознать и объяснить неправильные представления; создание связей по сути и последовательности чтобы объяснить концепцию или большую идею.

Уровень 4 Расширенное рассуждение

Уровень 4 требует сложных рассуждений уровня 3 с добавлением планирования, расследования или разработки. Которые, скорее всего, потребуют длительного периода времени. Длительность не является отличительным фактором для простых повторяющихся действий, отсутствия необходимости глубокого понимания концепций и мышления "без хитростей". На этом уровне когнитивные требования должны быть высокими, а работы должны быть очень сложными.
От студентов необходимо требовать соединять и связывать идеи и концепции в рамках тематической области или между разными. Отличительной чертой работ уровня 4 должно служить представление работы или продукта соответствующего познавательного уровня. Студентам придётся анализировать и синтезировать информацию из нескольких источников, изучить и объяснить альтернативные возможности на основании всего спектра источников и/или описать и проиллюстрировать, как общие темы и концепции пересекаются во времени и "пространстве". В чём-то студенты удовлетворяющие этому уровню должны уметь делать прогнозы и доказывать их; разрабатывать логическую аргументацию или планировать и разрабатывать решения проблем.
Многие готовые инструменты просто не соответствуют уровню 4. Однако стандарты, цели и задачи могут быть представлены так, чтобы студенты могли мыслить на требуемом уровне. Для попадания на этот уровень задачи, продукты или расширенные должны обладать необходимой  когнитивной сложностью.
Разбиения на пять областей:
  1. Чтение
  2. Письмо
  3. Математика
  4. Естественные науки
  5. Гуманитарные науки
хватает почти всегда. Но не всегда...

Критерий источника сомнений

Нужда в этом критерии возникает только тогда, когда выявляются неожиданно высокие когнитивные требования и непривычные, если так можно сказать. То есть не относится к целевым социальным исследованиям в смысле предметного содержания, концепций, нужных навыков и конкретных приложений. Чрезмерные требования к чтению, явный культурный уклон или очень специализированные знания могут стать причиной того, что предмет/задача может стать источником проблем.
Подобная характеристика может привести к тому, что некоторые ученики не способны предложить нужный уровень качества ответа и получат низкую оценку; или вообще неправильно ответят на вопрос, даже обладая основными знаниями по теме, вполне понимая их и умея пользоваться нужными навыками оцениваются. То есть бывают студенты способные решить задачу (провести исследование, отреагировать на ситуацию и т.п.) даже при наличии сомнений. Остальным никакой объём знаний и навыков не поможет.
Вебб приписал этот дополнительный уровень сложности только к гуманитарной тематике. Но для меня очевидна его применимость и к математике, и в естественных науках.

Комментарии