«Эксперт такой, какой он есть — добрый или злой»

Как оцифровать «настроение» эксперта, можно ли переправить оценку проекта и возможна ли «утечка» информации из заявки на грант — в первой части интервью Indicator.Ru заместителя генерального директора, начальника управления программ и проектов Российского научного фонда Андрея Блинова. — Андрей Николаевич, хотел бы для начала поговорить об информационных технологиях в экспертной деятельности Российского научного фонда. Как всё начиналось, и к чему в итоге пришли? — Информационные технологии в наше время лежат в основе работы любой организации, РНФ – не исключение. Мы начинали не с пустого места: в частности, у меня уже имелся опыт работы в фондах (РФФИ, РГНФ), и я пришел в РНФ с пониманием, какой должна быть информационная структура. В 2014 году мы буквально за месяц запустили нашу информационно-аналитическую систему. В чем ее главное отличие от других? Это не готовый коробочный продукт, который долго разрабатывали и программировали, а потом ввели в эксплуатацию. Нет, это продукт, который развивается постоянно, дорабатывается под те потребности, которые возникают. Впрочем, сейчас у всех так, то есть любая организация, которая занимается работой с людьми, с большими данными, будет создавать информационную систему. Мы тут не первопроходцы. ИАС РНФ направлена на обеспечение конкурсного цикла, в том числе и проведения экспертизы заявок и отчетов по поддержанным проектам. Что мы реализовали в ИАС последнее время? Одна из интересных новинок –это система автоматического назначения экспертов. В настоящее время она работает и на заявки, и на отчеты. В случае с годовыми отчетами, система сама подбирает двух экспертов из числа тех, кто уже смотрел заявку на стадии конкурса, и одного нового. Последний отбирается по тем же принципам: ключевые слова, код классификатора (то есть по научным интересам), а один старый назначается из числа тех, кто проводил экспертизу и поставил, так скажем, среднюю оценку. Почему именно среднюю? Существует определенная вероятность, что высокая или низкая оценка может быть «выбросом». Экспертный совет принял решение: давайте мы будем по возможности назначать тех экспертов, которые поставили среднюю, «нейтральную» оценку заявке. — То есть, система выбирает в качестве эксперта на отчет по заявке тех, кто в предыдущем раунде поставил скорее среднюю заявку? То есть ты поддержал, а теперь давай отвечай? — Да, посмотри, они за год сделали то, что ты ожидал от них, когда оценивал заявку? Плюс один новый эксперт – обязательно, чтобы получить второе мнение. Экспертный совет принял такое решение, и на молодежных конкурсах мы его реализовали полностью. У нас было три тысячи новых заявок, две тысячи отчетов, и по всем этим заявкам и отчетам назначались эксперты автоматически. Соответственно, это очень ускорило процесс: буквально за месяц-полтора имели около 98% уже завершенных экспертиз. Представьте, три тысячи заявок – это надо назначить девять тысяч экспертов. Еще есть такой фактор, и он статистически подтверждается, в том числе и в зарубежных фондах – около 40% экспертов отказываются от проведения предложенной им экспертизы. Добавьте еще тех, от кого не получаем никакого ответа, вот и получается, что надо увеличить число экспертов еще раза в два. Восемнадцать тысяч экспертиз. Даже вручную, если просто кликать, это достаточно долгая процедура, а при этом надо еще сопоставлять ключевые слова, коды классификаторы и так далее. Когда полностью действует компьютер, это просто в разы быстрее, то есть весь массив обрабатывается за несколько минут, соответственно, как только эксперты отказываются - переназначаются новые, снова идет оповещение и так далее. У нас логика достаточно простая: механические действия – рутинные и однообразные можно и нужно доверять компьютеру. А вот интеллектуальный труд: анализ, оценка – это всегда должны делать люди. Например, назначение тысячи экспертов я не считаю творческой работой. Наоборот, тут нужно как можно меньше творчества. Почему? На мой взгляд, неоспоримое преимущество автоматического назначения, в том, что координатор не участвует со своими интересами. Человек, назначая эксперта, волей-неволей влияет на этот процесс. Вот представьте, вам попадается на назначение проект и по разным причинам: либо тематика вам интересна, либо вы знаете этот коллектив, понаслышке, видели, например, выступление руководителя где-то – все это уже создает некий фон – ваши симпатии или антипатии. И вы, выбирая эксперта, волей-неволей, даже на подсознательном уровне, реализуете свои предпочтения. А представьте, люди в Фонде по пять лет работают координаторами, или пусть даже по три года – они, соответственно, знают: вот этот эксперт более строгий, вот этот менее строгий, вот эксперт там к этой научной школе относится, этот – к этой. Компьютеру это безразлично, он холоден и беспристрастен. — То есть, суть вашего IT-решения по автоматизации - обойти субъективизм и, так сказать, подсознательные пристрастия координаторов? Абсолютно верно. Но есть и другая цель – облегчить труд, предоставить больше времени им и членам экспертного совета для содержательного анализа. Сравнение результатов распределения ручного и автоматического назначения в прошлом году показало очень близкие результаты, по разным направлениям: как с точки зрения выбранного массива экспертов, его структуры и их количества, отказов экспертов от экспертизы, так и с точки зрения поступивших впоследствии возражений. То есть у нас практически все было идентично, что говорит о том, что процесс может быть заменен на автоматический. Теперь о подборе экспертов. Есть формальное понятие «конфликт интересов». Оно прописано в Порядке проведения экспертизы: если у вас совместная работа, совместные публикации за последние два-три года, если вы являетесь родственниками или работаете в одной организации, более того, даже если вы потенциально можете конкурировать в этой заявке сам, подав заявку, то вы должны отказаться. И многие эксперты отказываются. Вопиющих случаев, когда эксперты не решали этот конфликт интересов – немного, единицы на, примерно, 25 тысяч проведенных экспертиз в год. Но возникает другой вопрос – а какая модель поведения у эксперта? Например, эксперт может быть благосклонно настроен к заявителю, причем не обязательно к конкретному. Просто эксперт по натуре человек добрый, и всегда ставит завышенные оценки. Это вовсе не значит, что он плохой. У него такой стиль оценки, такое его «настроение». Либо наоборот - эксперт может быть достаточно «злым», весьма критичным по отношению к своим коллегам-заявителям, тоже по разным причинам может и занижать оценки. Он такой, какой он есть – добрый или злой, медлительный или расторопный, и это может быть обусловлено разными факторами – от образа жизни до уровня квалификации. Отталкиваясь от этой логики, мы пошли дальше – сделали «цифровой портрет эксперта». — Как это работает? Что учитывается, какие данные обрабатываются и анализируются? Начнем с простых вещей. Понятно, что эксперта можно «оцифровать» по разным параметрам. Наукометрические показатели, коды научного классификатора, ключевые слова, организация – место работы, заявки в которых эксперт участвует и тому подобное – все это так или иначе используется при подборе экспертов. Из аннотации проекта автоматически формируются ключевые слова, добавляются к тем ключевым словам, которые указаны в описании, добавляются коды классификатора, и по совпадению этих массивов подбираются эксперты. Добавим сюда также учет загруженности эксперта (причем, свой уровень нагрузки эксперт может определить самостоятельно) и недопущение конфликта ситуаций конфликта интересов – все это реализуется на «цифровом» уровне. Но есть еще «оцифровка» эксперта на основе анализа его работы. Прежде всего такого показателя, как оперативность. В нашем порядке проведения экспертизы сказано, что экспертизу нужно провести в течение двух недель, как правило. По факту, есть эксперты, которые делают это за два-три дня, а есть и те, которые тянут месяц и больше. С точки зрения организации конкурсного цикла - последние тормозят процесс, особенно это «болезненно», когда близится заседание совета и сроки поджимают. Поэтому первый из аналитических показателей эксперта – а как он оперативно работает? Как быстро реагирует на то, что Фонд ему направляет заявку, в какие сроки обычно проводит экспертизу? Это учитывается при подборе экспертов. Учитывается и при оценке работы эксперта. Так, например, эксперт, который рассматривает за один день пятнадцать заявок, скорее всего халтурит, это повод внимательно и содержательно посмотреть на его работу. Мы ведем учет, и если эксперт не укладывается в установленные сроки – постепенно отказываемся от его услуг. — То есть внутренние баллы такие стоят? — Не баллы, а внутренние, программные ограничения, которые позволяют более эффективно использовать массив экспертов. У нас все-таки шесть тысяч российских экспертов, есть из кого выбирать, нет такой проблемы, что вот он, единственный. Хотя весьма изредка, но возникают ситуации, когда эксперты друг за другом отказываются от заявки – встречаются такие специфические тематики проекта. Тогда, как правило, в «ручном режиме» находим экспертов, например, из числа членов другого экспертного совета (в РНФ два экспертных совета: по президентской программе и по научным проектам, - Indicator.Ru). Есть вещь более интересная, содержательная, которую в этом году мы сделали и предоставили координаторам – это анализ «настроения» эксперта. В экспертных заключениях мы просим экспертов интегрально оценить проект по пятибалльной шкале – от 1 (плохо) до 5 (отлично). Очевидно, что у каждого эксперта свое внутреннее понимание какой проект заслуживает 1, 2 или 4, например. За шесть лет у нас накопился достаточно большой массив оценок экспертов, сотни тысяч. Самое простое – посчитать средний балл каждого отдельного эксперта. Мы с этого начали. Как это работает? Есть проект, которому, например, два эксперта поставили «пять», а третий эксперт поставил «четыре». Когда начинаешь смотреть, оказывается, что у эксперта, который поставил «четыре», средний балл, которым он оценивал проекты – 1,8. То есть, его «четыре» – возможно, даже больше чем «пять». Это важная дополнительная информация для координаторов и членов экспертного совета. Другой момент – а как долго эксперт с нами работает, какой у него опыт проведения экспертиз? Член совета может посмотреть: вот тройка от эксперта, который провел всего две экспертизы, а вот пятерка от ученого, который с нами с 2014 года сотрудничает, видел и оценивал на порядок большее количество заявок. Вероятно, наличие значительного опыта в проведении экспертиз может придать вес его оценке. Но повторюсь - это дополнительная информация, которая лишь призвана помочь членам экспертного совета в понимании настроя экспертов. И еще одна наша инновация (осенью мы представим ее экспертным советам фонда и общественности) - она помогает не просто определить «настрой» эксперта по его средней оценке – добрый он или злой, а посмотреть, как его оценки соотносятся с другими в определенном балле. То есть, например, эксперт поставил проекту «пять». ИАС РНФ берет все проекты, которые он оценивал на «пять», и сопоставляет с тем, что ставили другие эксперты, насколько его оценка коррелирует с другими оценками именно в этой балльной категории. Рассматривается не весь массив заявок, а только случаи, когда он поставил «пять». И мы видим, что в случаях, когда он поставил «пять», эксперты ставят не только пятерки, но и другие оценки. Если его оценка совпадает с большинством других оценок – то можно говорить о том, что его оценка в рассматриваем случае с большой долей вероятности соответствует баллу «пять». Вообще, как показывает первый опыт работы с такой аналитикой, выделяется несколько «настроений» экспертов. Есть те, которые всегда завышают оценки – все их оценки выше чем большинство оценок по этим же заявкам. Есть вторая категория – критики, которые всегда занижают. То есть, практически никогда не ставят пятерок, а – «четыре», «три», но это заниженные оценки. — В любом из конкурсов, в некоем множестве, его оценка в среднем ниже, чем оценка его коллег по данному проекту? Да, все верно. Есть эмоциональные эксперты, которые подходят к экспертизе таким образом: если ему проект нравится, он завышает оценку, если ему проект не нравится, он занижает. Это хороши видно – оценки «четыре», «пять» у них, выше оценок других экспертов, а оценки «два», «один» ниже оценок других экспертов. На практике это может использоваться экспертным советом, например, при рассмотрении заявок с полярными оценками. Скажем, есть заявка с оценками, например, «три», «пять», «один». Координатор секции, член совета может обратиться к цифровому портрету экспертов, и понять, например, что первый всегда занижает оценку. То есть, когда он ставит тройку, в большинстве случаев его коллеги ставят «четыре» или выше. — И мы тройку поправляем на четверку? — Мы не поправляем, но держим в голове. Понимаете, оценки не являются определяющими. От того, что один эксперт поставил единицу или пятерку, заявка не будет однозначно поддержана или однозначно снята. Эксперты на первом уровне дают свою оценку проекта, как они его видят. При этом видеть его они могут совсем по-разному, по-разному акцентировать свое внимание. Поэтому и проводится несколько экспертиз на проект – важно получить несколько мнений специалистов, посмотреть на проект с разных сторон. Ситуации, когда у всех экспертов однозначное мнение о заявке редки – по нашему опыту это всего около 15% от всех заявок. Наиболее распространенные ситуации (примерно 75%), когда оценки экспертов расходятся на один – два балла. Дальше экспертные заключения попадают на секцию экспертного совета, где собираются специалисты в определенной области. У них также есть свое мнение о проекте, плюс у них есть три мнения экспертов. Для того, чтобы помочь понять, почему именно эти оценки были выставлены, мы и придумали всю эту систему. — Замечательно! — То есть, мы видим – добавилась «четверка». Смотрим дальше: выясняется, что эксперт, который поставил единицу, в фонде проводит всего только вторую экспертизу, у него весьма небольшой опыт работы. Можно сделать предположение, что вообще реальные оценки – это «четыре» и «пять» в этом проекте, а единица – скорее выброс, который произошел из-за недостаточности опыта эксперта. И вот с учетом этого уже и принимается решение о судьбе проекта. Но может быть и обратная ситуация – тот эксперт, который поставил низкую оценку увидел в заявленной работе то, что недоглядели другие эксперты. Повторюсь – не баллы-оценки являются определяющими, а содержательная экспертиза. В экспертном совете могут согласиться с мнением любого эксперта, если оно обосновано. Поэтому, помимо ответов на вопросы экспертного заключения и интегральной оценки проекта, мы просим экспертов написать также рецензию. Теперь о вопросе, который стабильно волнует ученых – что мы делаем с недобросовестной экспертизой заявок. Выявление таких фактов на стадии работы экспертного совета приводит к тому, что работа этого эксперта, не только в рамках текущего конкурса, а вообще, отдельно рассматривается профильной секцией. Вместе с тем, каждый руководитель имеет право после подведения итогов конкурса подать возражения против выводов, содержащихся в экспертных заключениях. Наличие такого возражения не ведет к пересмотру результатов конкурса, но инициирует пристальное изучение работы эксперта, на которого пожаловались. Жалоб у нас не очень много – меньше процента от общего числа проведенных экспертиз. Зачастую они сводятся к научной дискуссии – заявитель отвечает на вопросы эксперта или дает какие-либо разъяснения. Жалуются на предвзятость экспертов. Но бывает жалуются и на то, что эксперты позволяют себе, так сказать, «вольности» – то, что неприемлемо с точки зрения научной этики. Например, экспертом выбран далеко не «академический» стиль написания рецензии, возможно и допустимый в рамках дружеской беседы, но неподходящий для написания рецензии на проект незнакомого коллеги. Или эксперт в рецензии перешел на личности и оценивает заявку не по профессиональным качествам участников проекта, а по их региональной принадлежности или гражданству, что, конечно же, недопустимо. — И каковы ваши действия в таких случаях? — Эти ситуации рассматривает экспертный совет. И в случае подтверждения у экспертного совета есть два инструмента. Первый – сделать замечание, с экспертом проводится работа, мы предупреждаем о недопустимости низкого качества работы или о стиле написания рецензий, просим впредь придерживаться «формального» стиля. Мы не практикуем «возврат на доработку» экспертных заключений для того, чтобы эксперты отредактировали или исправили их содержание – это может вызвать подозрение в попытке повлиять на мнение эксперта, на его независимость. Второй инструмент – отказ от услуг эксперта. Однозначно он применяется, если эксперт допускает конфликт интересов, например, оценивает проекты своих близких родственников (в 2014 году, в самом начале нашей работы, такие случаи были). Ежегодно мы отказываемся от услуг 10-15 экспертов. Это немного на 6 тысяч экспертов, но мы не ставим цель отказаться от услуг как можно большего количества экспертов – скорее повлиять на восприятие процесса научной экспертизы. Я был бы рад, если бы люди, работающие в экспертном пуле РНФ, стали еще более уважительно относиться друг к другу, к работе и мнению своих коллег. — А экспертиза оплачивается? — Да, две тысячи рублей. Такое решение принял попечительский совет в 2014 году. После этого было несколько обсуждений на разных площадках, и сталкивались две противоположные позиции. Позиция первая – надо увеличить стоимость экспертизы; позиция вторая – надо вообще отказаться от оплаты экспертизы. — Каждая позиция вполне обоснована. — Да. В моем понимании, можно совсем отказать от оплаты, если это будет как-то компенсироваться, например, существенным повышением реноме ученого, который проводит экспертизу. Если же увеличивать гонорар, то непонятно до какой суммы, и мы можем столкнуться со спекуляциями на этом – попытками на этом заработать в ущерб качеству. Две тысячи рублей – эта та сумма, которой компенсируется эксперту его беспокойство, отвлечение от его основной деятельности. Она не позволяет прилично заработать: есть более эффективные способы заработка. Хотя люди, которые готовы делать по 15 экспертиз в день, вероятно, как раз нацелены на заработок. Но если это сказывается на качестве - мы такие попытки пресекаем. — Кажется, что две тысячи - это мало. Время, которое идет на экспертизу — это все-таки не полчаса. А у сильного ученого час его времени, тем более два или три часа его времени – все-таки не две тысячи. — Я согласен. Но, повторюсь, мы не пытаемся возместить его трудозатраты и по времени, в том числе. Есть же и такие эксперты, которые сейчас осознанно отказываются от вознаграждения за проведенную экспертизу. Около 25% экспертов сейчас выбирают безвозмездную работу в качестве экспертов РНФ. Добавлю, что эксперт, если это действительно заинтересованный человек, который работает в определенной области, еще получает доступ к самым передовым исследованиям в данной области. Он видит всю картину по своему направлению, что происходит. На мой взгляд это важно. В том числе и потому, что ты можешь корректировать свои планы, исходя из этого, и понимать, что вообще в твоей области делается в данный момент. — И тут как раз возникает важный вопрос. Вы знаете, в IT-системе в любой сфере, будь то здравоохранение, государственное управление, образование, всегда есть два важных параметра: безопасность и открытость данных. Ко второму мы еще вернемся, а вот как у вас обстоят дела с безопасностью? Не возникает ли проблема, когда эксперты читают заявку, а потом, через пару лет, ученый открывает статью, а там его идеи из заявки? — За шесть лет работы фонда только в этом году был зафиксирован и подтвержден такой случай. И не совсем в статье. Нашему эксперту была направлена заявка, в которой он увидел заимствования из своей заявки, которую он года три назад подавал в фонд. Причем, заимствования из необнародованного текста. Провели расследование, выяснилось следующее, что эксперт, который проводил три года назад экспертизу той заявки, имел сохраненную копию на флешке. Флешка попала его студентке, а она сочла, что это материал общего пользования и решила им воспользоваться при подготовке своей заявки. — Классическая история с информационной безопасностью. — Да, но понимаете, это тот же пресловутый человеческий фактор. Можно любые системы защиты строить, а человеческий фактор – непобедим. Никто не застрахован от того, что эксперт не начнет как-то использовать доступную ему информацию. В нашем договоре с экспертом целый раздел посвящен конфиденциальности. Вся информация, переданная фондом эксперту, в том числе в электронном виде, а также материалы, подготовленные экспертом, конфиденциальны и не подлежат разглашению, размножению и обнародованию. И подписывая договор, эксперт принимает эту норму. Если эксперт осознанно идет на нарушение этого – как минимум, с ним будет расторгнут договор, а если при этом он нарушит чьи-то авторские или иные права - ему предстоит отвечать в соответствии с действующим законодательством. Тот же вопрос более остро стоит с зарубежными экспертами. С одной стороны, научное сообщество говорит, что нам нужна зарубежная экспертиза, чтобы мы не варились в собственном соку. Я вот не так радужно смотрю на зарубежную экспертизу, это не панацея, и, по нашему опыту, и на зарубежную экспертизу поступают возражения. Там тоже люди сидят, и они имеют недостатки. Но вот вопрос утечки данных, он в этом случае более болезненный, и у нас есть члены экспертного совета, которые занимают позицию, что не стоит обращаться к иностранным ученым, потому что заявки включают технологические решения, которые могут быть использованы. Перед проведением зарубежной экспертизы мы согласовываем направление заявок иностранным экспертам с Федеральной службой по техническому и экспортному контролю. Какие-то заявки они блокируют, какие-то разрешают направить. Но решить до конца эту проблему, я думаю, можно только одним путем – честностью экспертов и внутренними барьерами. Если сокращать текст заявок, то они могут превратиться в то, что уже нельзя оценить. Если жестко регулировать действия экспертов, это будет только формальным инструментом, но никто так и не сможет предсказать намерения того или иного конкретного человека. С точки зрения информационной безопасности у нас все необходимые процедуры сделаны, есть система защиты персональных данных, информационная система устойчива ко внешним нападкам. — То есть утечек экспертиз, информации от экспертов не было? — Технически - нет, нашу систему разрабатывал ЦИТИС, который в общем-то и оборонные заказы выполняет, поэтому здесь мы спокойны. Скорее всего, что если какая утечка и будет, то на 99% это будет связано с человеческим фактором. Человеческий же фактор в фонде регулируется очень просто. Людей, имеющих физический доступ к базе, можно пересчитать по пальцам. Если что-то вдруг «утечет», будет сразу понятен довольно узкий круг людей, кто это мог сделать и когда. Но вот вам еще интересный факт. Два года назад нас критиковали, что мы отстаем в IT-технологиях с точки зрения электронной подачи заявок. Год назад мы полноценно запустили возможность использования электронной подписи. Для ее получения организации нужно подписать всего одно соглашение и направить его в фонд. Все. Далее все заявки и годовые отчеты от этой организации могут быть направлены в фонд только в электронном виде. Как вы думаете, каков процент заявок, которые за все время поступили в фонд в электронном виде? — Большой, наверное? Пресс-служба РНФ — Нет. Мы в 2020 году получили около восьми тысяч заявок, из них только две тысячи в электронном виде. Остальные – традиционно, по почте в конверте. Из трех тысяч отчетов только 900 были в электронном виде. То есть, у нас пока не все готовы бросаться в цифру. Научное сообщество очень консервативно. В этом есть свои преимущества, но, я считаю, что заявки подавать в электронном виде – это комфортно и безопасно, тем более, например, тем, кто работает на Дальнем Востоке. В этом даже есть преимущество: по статистике заявки не допускаются к конкурсу чаще всего по причине отсутствия необходимых подписей или печатей. Очевидно, что если подавать заявку в электронном виде, то по таким причинам она снята не будет. Тем не менее, сейчас мы имеем 75% заявок в бумажном виде. Продолжение следует Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще. Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.