Что такое NER, как работает IOB-разметка и чем CRF отличается от transformer-based подхода?

NER (Named Entity Recognition) — задача нахождения именованных сущностей (персоны, организации, локации) в тексте. IOB-разметка ставит каждому токену тег: B- (begin entity), I- (inside entity), O (outside). CRF моделирует переходы между тегами для глобальной согласованности (классика). Transformer-based (BERT-NER) даёт SOTA через token classification, часто без CRF, но иногда CRF добавляют поверх для согласованности.