Современная наукометрия

[0647]

Сообщение от Uzanka

нас в Центре отчет имеет такой вид:

На мой непросвещенный взгляд рационально и логично.

[Uzanka]

0647, главное, что для сотрудников это (отчитаться) еще и очень просто. Я так понимаю, что в России с отчетами больше проблем (в плане процедуры).

ЗЫ. В ЮАР отчетов особо не было. Нужно было отправить тоже по емейлу (секретаршам) список своих статей в Web of Science (за текущий год, конечно). На этом все. Секретарь проверяла эти статьи, находила их номера ВоЗ и составляла отчетную таблицу.

[0647]

Сообщение от Uzanka

Нужно было отправить тоже по емейлу (секретаршам) список своих статей в Web of Science (за текущий год, конечно).

А вот таким макаром - вообще идеальный вариант. IMHO. И никаких ксерокопий для отдела НИР копро-вуза. Эх!

[IvanSpbRu]

Сообщение от 0647

А вот таким макаром - вообще идеальный вариант. IMHO. И никаких ксерокопий для отдела НИР копро-вуза. Эх!

Вы что, шутите? А как же администрация покажет свою значимость, если не заставит Вас по три раза переделывать заполнение форм? И не заставит Вас ксерить свои же работы? Нет, это не наш метод...

[Rendido]

Есть три категории специалистов, которым интересно количественное описание процессов, происходящих в науке:

Это специалисты по истории науки, по логике науки, по наукометрии; это сами ученые, и это чиновники, которые контролируют от имени государства научные учреждения. Первую группу обсуждать не будем, потому что для них это просто объект исследования.

Что мы можем сказать об ученых и о чиновниках? Если речь идет о какой-то группе ученых, специалистов в определенной предметной области, то им все эти показатели совершенно не нужны. Потому что каждый ученый знает специалистов в своей предметной области, знает, кто чего стоит, кто лидер, кто халтурщик и так далее. Им эта информация ничего не дает. Если мы говорим уже о более крупных группах ученых и организациях, условно говоря, научного обслуживания, таких как журналы, конференции или университеты, те же академические или отраслевые научные институты, то здесь уже отчасти возникает необходимость в каких-то количественных показателях. Как сказать, какой журнал лучше, какой хуже? Опять же, специалист в своей предметной области прекрасно представляет, чего стоит тот или иной журнал. Но ни один ученый вам не скажет, как соотносятся журналы из биологии и из физики. Хотелось бы иметь какую-то методику их ранжирования. Для этого придумали импакт-факторы — научились ранжировать журналы. Или проблема, которая возникает, когда вы объявили конкурс о приеме на работу и у вас двести человек в очереди стоит, — у нас такое редко бывает, а за рубежом иногда бывает. Первичный отбор можно провести на уровне формальных показателей. Но потом все равно с отобранными на первом этапе кандидатами должны общаться профессионалы, проводить экспертизу, для того чтобы выбрать лучшего. То есть на уровне коллективов, организаций, журналов возникает потребность осмысленного использования числовых показателей, но в комбинации с содержательной экспертизой.

Теперь посмотрим на чиновников, которые управляют наукой. Логика любого чиновника, логика любого государства: если мы вкладываем деньги, то должны измерить отдачу. Отдача, как экономисты нас учат, — это отношение эффекта к затратам, эффективность, то есть что получается на потраченный рубль. А как измерить, что получается на потраченный рубль в науке? Кстати, эти же проблемы существуют и для культуры, для медицины и так далее. Но до них еще не добрались, хотя со временем, наверное, тоже доберутся. Любая дурь имеет свои законы развития и всегда доходит до абсурда.

Но тем не менее, как сравнить между собой ученых Иванова и Петрова, получающих одинаковую зарплату? Работают они или нет? Чиновники от творчества далеки. А наука — это все-таки творчество. Особенно фундаментальная. Мы говорим с вами дальше только о фундаментальной науке, потому что в отраслевой есть своя специфика.

Конечно, можно причесать всех под одну гребенку и сказать: ребята, дело должно быть поставлено на поток. Вы должны в год выдавать по одному изобретению и раз в десять лет придумывать что-то гениальное, что осчастливит человечество. Тогда легко рассчитать эффективность и сказать, на уровне отдача или нет. Но ясно, что это глупость.

Тем не менее сильное государство как меценат вкладывает деньги в науку и не требует конкретной отдачи и быстрого конкретного результата. Когда министр финансов Англии спросил у Фарадея (а это конец первой трети девятнадцатого века), какова польза от вашего электричества, Фарадей ответил: когда-нибудь с него будут платить налоги. Он ответил понятно для министра финансов. Потом были Максвелл и другие, пока это все не ушло массово в промышленность. И платить налоги с электричества начали, наверное, лет через сорок. Что бы было, если бы мы тогда не изобрели электричество, как бы мы сейчас жили, где бы мы сейчас жили? То есть попытки измерения научной отдачи какими-нибудь количественными вещами радикально неправильны, если мы говорим в таких категориях. Ну выгнали бы Фарадея с работы, потому что он бы там что-нибудь вовремя не опубликовал, или оборудование не то купил, или не так оформил.

Но тем не менее вполне можно понять чиновников, которые хотят что-то померить. Поэтому использование библиометрических показателей типа индекса цитируемости, индекса Хирша и так далее в сочетании с экспертизой в каком-то варианте, естественно, необходимо, хотя бы для того, чтобы исключить вариант паразитизма. Представьте себе, что мы сделали заповедник для ученых: они такие яйцеголовые, умные, трогать их нельзя, они думают о судьбах человечества, мы деньги им будем давать и ничего с них спрашивать не будем. Туда в итоге набегут бездельники. Поэтому какой-то контроль за тем, что люди уж совсем не бездельничают, необходим. Но вряд ли более того. Точно не для того, чтобы судить о том, что кто-то лучше или хуже, потому что у него индекс больше или меньше.

[Uzanka]

Чтобы не флудить в теме по Скопус, напишу здесь. В той теме зашел у нас разговор про журналы ТОПового уровня (Q1). Я писала

У нас тут, вообще, этими Q1 никто не замарачивается. Помогала в этом году составлять отчет центра и наполнять сайт в плане публикаций. Много нового узнала о сотрудниках нашего центра. У нас не гнушаются:
1) монографиями в Ламберте
2) статья в журналах Open Access любого качества, т.е. не входящих ни в одну из БД.

Вот и закономерный итог. В этом году Португалия проводила переаттестацию всех научных центров в стране. Оценка идет по наукометрическим данным (по скопус) + экспертные оценки. Около 780 внешних экспертов. Более того, аттестация проходит в два тура. Во втором туре комиссия из внешних экспертов (по 3 человека) выезжали на места для интервью сотрудников каждого научного центра. В нашем центре было 3 эксперта: из Франции, Германии и Италии. Вопросы были самые разнообразные.

И вот вчера опубликовали результаты оценивания всех Центров (если кому-то интересно это тут). Мы получили оценку very good (выше только excellent и exceptional). Финансирование было срезано в два раза по сравнению с предыдущими годами. Всё финансирование нашего научного центра будет - максимум 4 постдока в год и никаких денег на конференции, на приглашение коллег, на развитие, оборудование (слава богу, что мы математики и нам ничего не нужно). Как будем жить? А мы еще хотели на 2 конференции в след.году поехать. Ничего не будет, видимо. Только за свой счет.

А вот что написали внешние рецензенты в своем отчете по нашему центру. Это и ответ на вопрос почему такое финансирование. Цитирую основную часть:

The proportion of integrated researchers and their average rate of publications are very good but the number of publications in international journals appears to be relatively low and concentrated around a number of highly productive and internationally highly competitive members. Similarly, a large proportion of the Centre’s publications are submitted/appeared in second and third rated journals and in conference publications. The center should encourage their members to submit more to the top journals in every one of the subfields and also to top generalist journals with a broader impact and reputation, even if this temporarily lowers the publication rate.

Для тех, кто плохо владеет английским: (эксперты пишут) Соотношение сотрудников центра и кол-ва публикаций очень неплохое, однако, кол-во статей в international journals относительно небольшое и сконцентрировано вокруг нескольких сотрудников, работающих на высоком международном уровне. Аналогично, большое число публикаций центра сосредоточено в журналах второго и третьего эшелона или в трудах конференций. Центр должен стимулировать своих сотрудников подавать(публиковать) статьи в ТОП журналы (имеется в виду Q1), даже если это приведет к снижению общего числа публикаций.

[Feeleen]

Uzanka, очень интересно. Буду своим рассказывать, а то многие до сих пор не понимают, что не вуз придумывает требования, а практика это международная

[4gost]

Uzanka, спасибо

Сообщение от Uzanka

никаких денег на конференции, на приглашение коллег

на эти пункты у нас и так никогда денег не выделяли - только за свой счет (с грантов, контрактов и т.д.)

[Uzanka]

Feeleen,
На сколько я понимаю процессы, происходящие в РФ, только сейчас в научной среде в РФ формируется экспертный совет, который будет оценивать институты РАН. Вроде бы недавно было голосование и научная среда кипела в связи с этим. А как будет происходить сама оценка научных центров в РФ пока совершенно не ясно. По моей ссылке, кстати, можно скачать правила оценки в Португалии. Там всё четко расписано. Но всё только на английском и португальском.

4gost,
В Португалии весьма странная система организации научных центров. Во всяком случае, я такое впервые вижу. Система такая. Работаете вы в университете на каком-нибудь математическом департаменте. Вы можете "записаться" в некий научный центр по вашей предметной области. Их много по стране, вы вправе выбрать любой. Т.е. работаете в Москве, а приписаны к научному центру в Новосибирске.. как-то так. Зачем это делается? при приписке к научному центру никакой дополнительной научной ставки или оплаты у вас не появляется, т.е. это такое формальное действо. Единственное в чем вы выигрываете - ваш научный центр может оплачивать вам конференции, приглашение коллег, может купить ноутбук, может нанять вам аспиранта или потдока. Если у вас нет своих грантов, то это вариант.

Раньше было так. А теперь смысл в научном центре? Я этого не понимаю ... теперь всё только за счет своих личных грантов. Начальник вчера сообщил результаты оценивания, поздравил всех с Рождеством и призвал всех подаваться на гранты (сейчас как раз набор открыт). В научном центре теперь будет очень мало денег, может быть кому-то что-то по мелочи и оплатят, но так.. всё за счет своих личных грантов. Я вот думаю иногда, может быть они в Португалии решили всю систему научных центов изменить? ответа не знаю..

[4gost]

Сообщение от Uzanka

Единственное в чем вы выигрываете - ваш научный центр может оплачивать вам конференции, приглашение коллег, может купить ноутбук, может нанять вам аспиранта или потдока. Если у вас нет своих грантов, то это вариант.

занятная система, но тут возникает некий "замкнутый круг": человек, публикующий свои статьи в журналах Q1, наверняка не испытывает проблем с грантами и сам может оплатить конференции и ноутбуки. А тот, у кого статей Q1 нет, оказывается в заведомо худших условиях (даже если у него много цитируемых работ в журналах Q2-Q3)