Что случилось
Исследователи из MIT и Dana‑Farber Cancer Institute провели систематический обзор публикаций, в которых разрабатывались или проверялись модели предсказания медицинских исходов. Для автоматизации поиска заявлений о доступности кода они применили большие языковые модели, которые просматривали почти 4 000 статей, отбирали упоминания о репозиториях и собирали ссылки на них. Затем команда оценила сотни найденных репозиториев по таким критериям, как наличие лицензии, полнота документации и указание требований к программному обеспечению.
Результаты показали два основных пробела: публикация кода остаётся редкостью, а когда код публикуется, часто отсутствует достаточная документация для его повторного использования. Выводы исследования опубликованы в Nature Medicine и легли в основу разработки нового руководства — TRIPOD‑Code.
Как это работает простыми словами
Большие языковые модели (LLM) — это алгоритмы, обученные на огромных объёмах текста, способные находить нужную информацию в неструктурированных данных. В данном случае LLM использовались для трех задач:
- Определить, содержит ли статья заявление о доступности кода.
- Выделить и собрать ссылки на внешние репозитории.
- Извлечь из текста репозитория метаданные, такие как наличие лицензии или инструкций.
После автоматической обработки люди‑рецензенты проверяли выборку из 500 статей и отдельные репозитории, сравнивая их оценки с результатами LLM. Такой гибридный подход позволил охватить большую выборку, сохранив контроль качества.
Цифры и сроки
- Около 1 из 8 (≈12 %) исследованных статей заявляли о публичном доступе к коду.
- В репозиториях, где код был доступен, степень организации и наличия документации варьировала от «чрезвычайно хорошо структурированных» до «почти без указаний».
- Доля статей с открытым кодом различалась по журналам: от 0 % до более 70 %.
- Точность автоматической классификации была выше для чётких признаков (например, наличие файла лицензии), чем для субъективных оценок (адекватность документации).
Сроков появления новых практик в статье не указано; исследование уже опубликовано, а работа над руководством TRIPOD‑Code продолжается.
Кто это сделал
Инициатором проекта стала международная команда, возглавляемая исследователями MIT и Dana‑Farber Cancer Institute. Основные участники, упомянутые в публикации, — Том Поллард, исследователь в MIT Laboratory for Computational Physiology и CSAIL, и Томас Сунак, первый автор исследования. Их работа поддержана экспертным обзором, в котором принимают участие специалисты по клиническим предсказательным моделям.
Что дальше
Полученные данные будут использованы для разработки TRIPOD‑Code — набора рекомендаций, расширяющего существующие чек‑листы TRIPOD и TRIPOD+AI. Цель руководства — установить единые стандарты того, какие элементы кода и сопутствующей информации должны быть предоставлены для обеспечения прозрачности и повторяемости исследований. Ожидается, что такие стандарты помогут унифицировать политику журналов и повысить долю публикаций с качественно оформленным кодом.
«The real benefit of LLMs is their ability to process unstructured information such as text. These models helped us work with information that was scattered across papers and software repositories, rather than neatly organized in a table» — Tom Pollard, MIT (source: MIT News)



