Что такое BERT, как работают MLM и NSP, и как файнтюнить его на свою задачу?

BERT — двунаправленный transformer-encoder, предобученный на двух задачах: MLM (Masked Language Modeling — маскируем 15% токенов и предсказываем их по контексту) и NSP (Next Sentence Prediction — бинарная классификация, идут ли два предложения подряд). Файнтюнить — добавить task-specific голову над [CLS] или token-level выходами и дообучить на своих данных с маленьким learning rate.