Институт искусственного интеллекта Аллена в Сиэтле на минувшей неделе представил систему Semantic Scholar, которая предлагает экстремальное сжатие пространных научно-технических статей, чтобы сократить время на их изучение.
Это исследовательский инструмент на базе ИИ, который может пригодиться в научной среде. Благодаря функции реферирования он может просматривать огромное количество научной литературы, сводя обработанный материал буквально к одному предложению.
Услугами Semantic Scholar за месяц воспользовались 7 млн. пользователей, в его базе находятся 10 млн. статей по информатике. По словам одного из разработчиков системы Дэна Велда, существующая база данных будет регулярно пополняться – в том числе статьями и по другим дисциплинам.
Это далеко не первая программа обработки естественного языка для обобщения документов. Обычно для решения этой задачи используется один из двух подходов – либо экстрактивный, делающий выбор в пользу репрезентативного текста и его дословного использования в резюме, либо абстрактный, когда используются алгоритмы генерации естественного языка при создании резюме с оригинальной формулировкой.
В отличие от них у Semantic Scholar чрезвычайно высокая степень сжатия. К примеру, резюме статьи из 5000 слов составит всего 21 слово, то есть 1:238. У ближайшего конкурента Semantic Scholar этот показатель составляет 1:36.
Институт Аллена предлагает свой код абсолютно бесплатно всем желающим, а также приглашает посетить свой демонстрационный сайт scitldr.apps.allenai.org. К настоящему времени хранилище Semantic Scholar заполнено исключительно англоязычными материалами, однако со временем оно пополнится документами и на других языках.