Искусственный интеллект научили читать агрономические справочники

Сотрудники молодежной лаборатории цифровых двойников агроландшафтов (ЛЦДА, руководитель – Фомин Д.С.) обработали 30 000 описаний сортов сельскохозяйственных культур с помощью больших языковых моделей, получив точность 96,7%. 

В статье "Assessing the quality of crop variety data extraction from unstructured text sources using large language models" учёные протестировали современные языковые модели на Государственном реестре селекционных достижений.  Опубликованная работа может изменить подход к хранению и анализу агрономических данных в России.

С помощью дообучения больших языковых моделей исследователи автоматически извлекли из текстовых описаний:

• морфологические признаки сортов, 
  
• данные об урожайности, 
  
• устойчивость к засухе, холоду и другим абиотическим стрессам, 
  
• информацию об устойчивости к болезням и вредителям. 
  

Восстановлен «дневник российской погоды» за 44 года 

Ежедневные климатические данные по ряду регионов России содержат пропуски – объективное следствие масштабов страны и сложности сбора наблюдений. Около 1,6% записей по температуре и 1,8% по осадкам отсутствовали в исходных архивах Росгидромета, что ограничивало их использование для точных климатических расчётов в ряде регионов. Коллектив лаборатории решил эту проблему созданием полного массива ежедневных метеоданных с привязкой к местности. 

Архив метеорологических наблюдений RusWeather-GF включает ежедневные данные по по температуре и осадкам с 593 метеостанций за период с 1980 по 2023 год. Итого – почти 9 миллионов записей. 

Молодые ученые восстановили все пропущенные данные, применив комбинацию методов, включая несколько физических моделей и искусственный интеллект. Результат: 100% заполненность при исключительно высокой точности восстановления данных. 

Впервые к каждой станции была привязана цифровая модель рельефа FABDEM v1.2 – высота над уровнем моря, крутизна и характер поверхности. Это особенно критично для горных районов, где климат существенно меняется уже на высоте нескольких сотен метров. 

Разработана технология «оживления» почвенных данных прямо в браузере

Сотрудники ЛЦДА разработали открытый программный инструментарий для интерактивной 3D-визуализации микроструктуры почв и горных пород непосредственно в веб-браузере. 

Структура порового пространства почвы – ключевой параметр для понимания ее физических свойств и функций в агроландшафте, а детальные данные о ней лежат в основе моделирования и построения цифровых двойников. Рентгеновская микрокомпьютерная томография позволяет получать такие данные с высоким разрешением, однако работа с объемными массивами информации традиционно требует дорогостоящего специализированного программного обеспечения и мощных вычислительных ресурсов. 

Новый подход позволяет исследователям изучать трехмерные томографические срезы почвенных образцов прямо в окне браузера, даже в мобильной версии.  

Ключевой элемент разработки – оригинальный графический модуль, созданный специально для почвенных образцов: он корректно отображает поровые сети, фазовые границы и распределение плотности вещества там, где стандартные решения дают искажения. По результатам тестирования, скорость загрузки данных возросла более чем в пять раз по сравнению с общепринятыми форматами, а система обеспечивает плавный просмотр массивов объемом до 7503 элементарных ячеек на устройствах без специализированной графической подсистемы.  

Более века исследований – в одну базу данных: ИИ научили читать научные статьи по почвоведению

Коллектив ЛЦДА совместно с лабораторией физики и гидрологии почв ФИЦ «Почвенный институт им. В.В. Докучаева» разработал и апробировал подход к автоматизированному извлечению почвенных данных из научных публикаций с помощью больших языковых моделей. 

Десятилетия полевых исследований аккумулированы в тысячах научных публикаций – однако эти данные по-прежнему рассредоточены по неструктурированным текстам и труднодоступны для масштабного анализа. Ручная обработка таких массивов требует огромных ресурсов, а традиционные алгоритмы поиска плохо справляются с узкоспециализированными научными текстами, в том числе о почвах. 

Новый подход решает эту задачу: языковая модель отвечает на 58 вопросов о каждой статье – какие почвы изучались, где и когда проводились измерения, какие методы применялись и каковы результаты. Важно, что за каждым вопросом к системе стоит экспертное решение: что считать эквивалентными методами, как распознать данные, спрятанные в таблице, какой термин в статье соответствует современному стандарту. Такие решения не автоматизируются – их могут принять только ученые, эксперты в области. 

Разработанный молодыми учеными инструмент позволяет автоматически извлекать из публикаций структурированную информацию о почвах – от гранулометрического состава и содержания органического углерода до условий землепользования и применяемых методов анализа. Апробация на корпусе из 423 русскоязычных статей журнала «Почвоведение» за 2019–2020 годы показала высокую точность, подтвержденную независимой экспертной оценкой. 

Данная работа – первый шаг к принципиально новому масштабу работы с научным знанием в почвоведении: поиску релевантной информации в больших массивах текстов и переводу ее в структурированную, машиночитаемую форму для создания тематически ориентированных баз данных. Журнал «Почвоведение» издается с 1899 года.