Старший научный сотрудник, руководитель группы NLP Татьяна Шаврина, научный сотрудник Олег Сериков и младший научный сотрудник Виталий Протасов в этом году проводят воркшоп на ACL 2022, посвященный эффективным вычислениям в бенчмарках.
Бенчмарки сыграли решающую роль в ускорении прогресса в области NLP, охватывая широкий спектр направлений исследований: понимание естественного языка (GLUE, SuperGLUE), генерацию естественного языка (GEM), кросс-языковой перенос знаний (XGLUE, XTREME), пробинг и интерпретацию (LINSPECTOR, SentEval), оценку смещенности и предвзятость (HateCheck, StereoSet, HONEST) и устойчивости к атакам (RobustnessGym, AdvGLUE). Несмотря на то, что концепция бенчмаркинга стала стандартной практикой для сравнения будущих моделей друг с другом и с людьми, все еще остается ряд нерешенных вопросов и методологических проблем:
На семинаре обсудили:
- интерпретируемость моделей и бенчмарки
- вычислительную эффективность и энергопотребление в NLP
- новые практики измерения языковой компетенции в одно- и многоязычных тестах;
- критический анализ существующих методов оценки моделей
Делимся ссылками на страницы воркшопа:
13 views
4
0
5 months ago 00:23:00 6
Hitman 3 GTX 1050 TI 4GB All Setting FPS & Gameplay & Benchmark 1080p