Сан-Франциська декларація про оцінку наукових досліджень (DORA)

Методи, які фонди, академічні установи та інші інституції використовують для оцінки результатів наукових досліджень, потребують вдосконалення. Редактори та видавці наукових журналів, які зібралися 16 грудня 2012 року під час щорічної зустрічі Американського товариства біології клітин (The American Society for Cell Biology – ASCB) у Сан-Франциско, створили набір рекомендацій, які отримали назву Сан-Франциська декларація про оцінку наукових досліджень. Закликаємо усі зацікавлені сторони з усіх наукових дисциплін заявити про свою підтримку цієї Декларації, шляхом її підписання.

Результати наукових досліджень численні і різноманітні: наукові статті, які інформують про нові знання, дані, реагенти та програмне забезпечення; інтелектуальна власність; молоді висококваліфіковані вчені. Установи, що фінансують дослідження, установи, в яких працюють вчені, та самі вчені мають спільні інтереси та потреби в оцінюванні якості та значущості результатів наукових досліджень. Тому потрібно, щоб наукові результати вимірювались та оцінювались об’єктивно і справедливо.

Імпакт-фактор журналу часто використовується в якості основного критерію, за допомогою якого порівнюють наукові результати окремих вчених та установ. Імпакт-фактор журналу, який розраховується Thomson Reuters*, спершу був запропонований, як інструмент, що повинен допомогти бібліотекарям відібрати журнали для передплати, а не як мірило якості наукових досліджень, що описані в статті. У зв’язку з цим, важливо розуміти, що імпакт-фактор журналу, як інструмент оцінки досліджень, має ряд задокументованих недоліків, зокрема: А) розподіл цитувань у журналах вкрай спотворений [1-3], Б) властивості імпакт-фактора журналу залежать від наукової дисципліни: він поєднує кілька, доволі різноманітних типів публікацій, включно з оригінальними науковими дослідженнями та оглядами [1, 4], В) редакції наукових журналів можуть маніпулювати (чи «шахраювати» з) імпакт-факторами [5], і Г) дані, які використовуються для розрахунку імпакт-факторів журналів є ані прозорими, ані відкритими для громадськості [4, 6, 7].

Нижче ми пропонуємо декілька рекомендацій щодо покращення якості оцінювання результатів наукових досліджень. Рецензована наукова стаття залишатиметься основним показником якості наукових досліджень, попри те, що в майбутньому при оцінці ефективності досліджень зростатиме значення й інших типів наукових публікацій. Тому наші рекомендації орієнтовані, насамперед, на підходи, які пов’язані з науковими статтями, що опубліковані в рецензованих журналах, проте вони можуть і повинні бути розширені шляхом врахування інших важливих типів представлення наукових результатів, таких, наприклад, як масиви даних. Ці рекомендації корисні для установ, що фінансують наукові дослідження, академічних установ, наукових журналів, організацій, які постачають метрики, а також для окремих дослідників.

Ці рекомендації охоплюють кілька тем:

• потрібно відмовитися від використання кількісних журнальних показників, таких, наприклад, як імпакт-фактор, при розгляді питань щодо фінансової підтримки досліджень, прийому працівників на роботу та просування по службі;
• потрібно оцінювати наукове дослідження за його достоїнствами, а не на основі журналу, в якому воно опубліковане; і
• потрібно використовувати можливості, які надає онлайн-публікація (наприклад, спростити непотрібні обмеження щодо кількості слів, ілюстрацій та бібліографічних посилань у статтях, а також вивчати можливості нових метрик значущості та впливовості досліджень).

Ми визнаємо, що багато фондів, установ, вчених та дослідників вже сприяють удосконаленню методів оцінки наукових досліджень. Такі кроки сприяють зростанню динаміки використання більш складних і змістовних підходів до оцінки наукових досліджень для усіх зацікавлених сторін.

Ті, хто підписав Сан-Франциську декларацію про оцінку наукових досліджень, підтримують впровадження цих підходів оцінки наукових досліджень.

Загальна рекомендація

1. Не використовуйте журнальні метрики, наприклад, імпакт-фактор, як допоміжний показник якості окремих наукових статей, при оцінці внеску окремих вчених, у процесі прийому на роботу, просування по службі, або при прийнятті рішень щодо фінансування досліджень.

Для установ, що фінансують дослідження

1. Чітко визначайте критерії, що використовуються при оцінці наукової продуктивності заявників, наголошуйте, особливо для молодих дослідників-початківців, що науковий зміст статті набагато важливіший за кількісні показники публікації, чи репутацію журналу, в якому вона опублікована.
2. При оцінці досліджень враховуйте значущість та впливовість усіх результатів дослідження (включаючи масиви даних і програмне забезпечення), а не тільки наукові публікації, а також розглядайте широкий спектр інших важливих показників, зокрема такі якісні показники, як вплив на політичні рішення та практичне впровадження.

Для установ

1. Чітко визначайте критерії, що використовуються для прийняття рішень щодо прийому на роботу, перебування на посаді та просування по службі, наголошуйте, особливо для молодих дослідників-початківців, що науковий зміст статті набагато важливіший за кількісні показники публікації, чи репутацію журналу, в якому вона опублікована.
2. При оцінці досліджень враховуйте значущість та впливовість усіх результатів дослідження (включаючи масиви даних і програмне забезпечення), а не тільки наукові публікації, а також розглядайте широкий спектр інших важливих показників, зокрема такі якісні показники, як вплив на політичні рішення та практичне впровадження.

Для видавців

1. Робіть значно менший акцент на імпакт-факторі журналу як інструменті просування, в ідеалі, припиніть просувати імпакт-фактор, або ж представляйте систему показників у контексті різноманітних журнальних метрик (наприклад, 5-річний імпакт-фактор, EigenFactor [8], SCImago [9], h-index, середній час редагування та публікації статей і т. д.), що дозволить сформувати більш повне уявлення про журнал.
2. Зробіть доступним ряд показників на рівні окремої статті, щоб стимулювати перехід до оцінки на основі наукового змісту статті, а не на бібліометричних показниках журналу, в якому вона опублікована.
3. Сприяйте практиці відповідального авторства та надання інформації про конкретний внесок кожного з авторів.
4. Незалежно від того, чи мова йде про журнал відкритого доступу, чи про передплатне видання, – скасуйте всі обмеження на повторне використання списків літератури в наукових статтях, і зробіть їх доступними відповідно до умов та правил Creative Commons Public Domain Dedication [10].
5. Скасуйте або зменште обмеження щодо кількості використаних джерел у наукових статтях, і там, де це доречно, вимагайте цитування оригінальних досліджень замість оглядових статей, щоб віддати належне групі (групам), які першими представили результати.

Для організацій, які постачають метрики

1. Будьте відкритими і прозорими, коли надаєте дані та методи, що використовуються для розрахунку всіх метрик.
2. Надавайте дані згідно з ліцензією, що дозволяє їх необмежене повторне використання, і забезпечуйте доступ для обчислення даних, коли це можливо.
3. Відверто говоріть про те, що не потерпите маніпулювання метриками; чітко визначте, що таке маніпулювання даними, і яких заходів буде вжито для боротьби з цими зловживаннями.
4. Враховуйте варіації типів статей (наприклад, оглядові статті у порівнянні з оригінальними дослідженнями), а також відмінності різних наукових дисциплін, коли використовуєте, поєднуєте, або порівнюєте метрики.

Для дослідників

1. Якщо ви є членом комісії, яка приймає рішення щодо виділення фінансування, прийому на роботу, перебування на посаді та просування по службі, робіть оцінки на основі наукового змісту, а не на основі бібліометричних показників журналів.
2. Якщо можна, то вказуйте у списку літератури оригінальні роботи, в яких вперше було представлено отримані результати, а не оглядові статті, щоб визнання отримали ті, хто його заслуговує.
3. Використовуйте різноманітні метрики статей при написанні мотиваційних / супровідних листів, як доказ значущості окремих опублікованих статей та інших результатів досліджень [11].
4. Оспорюйте практику оцінки наукових досліджень, що хибно опирається на імпакт-фактори журналів; підтримуйте і вивчайте найкращі практики, які враховують, насамперед, значущість та вплив конкретних результатів досліджень.

Література

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/

* Імпакт-фактори журналів тепер розраховуються компанією Clarivate Analytics.

Джерело: https://sfdora.org/