Segmentation and classification of web page content with language models

Abstract

Данная работа направлена на решение задачи извлечения основного содержимого web-страниц, В работе предлагается новая архитектура, основанная на современной языковой модели DistilBERT, а также описание деталей её реализации.

This work is aimed at solving the problem of extracting the main content of web pages. The work proposes a new architecture based on the modern language model DistilBERT, as well as a description of the details of its implementation.