Какие есть стратегии чанкинга документов и как выбрать размер чанка?

Chunking — разбивка документа на куски для индексации. Основные стратегии: fixed-size (по N токенов с overlap), recursive (по разделителям с fallback), semantic (по смысловым границам через embeddings), parent-child (мелкий чанк для поиска, родитель для контекста). Размер: 300-800 токенов с 10-20% overlap — хороший дефолт. Слишком мелко → теряется контекст, слишком крупно → шум и lost-in-the-middle.