По мнению Стайгера, данные об эффективности учителей полезны, но это лишь один из инструментов, применяемых в процессе оценивания их профессионализма. Эти данные оказываются «менее шумными», когда исследователи располагают информацией по конкретному преподавателю за много лет, особенно если он работал с разными группами учащихся (точно так же, как мы можем сделать более достоверные выводы о достижениях спортсмена, имея данные о большем числе игр и сезонов, в которых он участвовал). В случае рейтингов преподавателей Нью-Йорка руководство системы образования предупреждало о необходимости правильного использования данных «добавленной стоимости» и о присущей им ограниченности. Однако широкой общественности не было известно об этих предупреждениях. В результате предложенные оценки учителей зачастую рассматриваются как определитель «хороших» и «плохих» преподавателей, заслуживающий полного доверия. Нам вообще нравятся рейтинги – вспомните хотя бы рейтинги колледжей, опубликованные в U.S. News & World Report, – даже когда соответствующие данные не поддерживают такую точность.

Стайгер делает предупреждение несколько иного рода: нам следовало заранее удостовериться в том, что оцениваемые нами исходы (например результаты стандартизированного теста) действительно соответствуют тому, что нас интересует в долгосрочной перспективе. Некоторые уникальные данные, которые приводит Академия ВВС США, свидетельствуют о том, что блестящие результаты экзаменов в будущем могут такими не казаться. Академия ВВС США, подобно другим военным учебным заведениям, произвольно распределяет своих кадетов по разным секциям стандартизированных базовых курсов, таких как введение в математический анализ. Подобная рандомизация устраняет любое влияние потенциального отбора при сравнении эффективности преподавателей; спустя какое-то время мы можем исходить из того, что все преподаватели получают студентов с примерно одинаковыми способностями (в отличие от большинства университетов, где студенты с разными способностями могут выбирать для себя те или иные курсы). Кроме того, Академия ВВС США использует в каждой части конкретного курса одинаковые учебные программы и экзамены. Скотт Каррелл и Джеймс Уэст, профессора Калифорнийского университета в Дэвисе и Академии ВВС США, воспользовались этой элегантной системой организации процесса подготовки студентов, чтобы ответить на один из самых важных вопросов в высшем образовании: какие из профессоров самые эффективные?{109}

Ответ: профессора с меньшим опытом преподавательской работы и меньшим числом научных степеней от новомодных университетов. Студенты таких профессоров, как правило, очень позитивно отзываются о них и демонстрируют более высокие результаты сдачи стандартизированных тестов по вводным курсам. Понятно, что эти молодые и мотивированные преподаватели относятся к своей работе с большим энтузиазмом, чем старые, «замшелые» профессора с докторскими степенями от престижных университетов (например Гарвардского). Не исключено, что эти «старые зубры» все еще пользуются теми же пожелтевшими от времени конспектами лекций, что и в далеком 1978 году; возможно, они полагают, что PowerPoint – это нечто вроде энергетического напитка (правда, они могут и не знать, что это такое). Очевидно, эти данные говорят нам о том, что этих «динозавров» давно пора уволить или по крайней мере предоставить им шанс красиво уйти со сцены.