Что такое chunking и зачем разбивать документы на куски?

Chunking — это разбиение длинного документа на небольшие куски перед индексацией. Нужно, потому что один embedding на весь PDF теряет точность, а LLM нельзя кормить мегабайты текста. Обычно режут по 200–500 слов с небольшим перекрытием.