Skip to content
20 / 28

Какие advanced chunking стратегии (semantic, recursive, late chunking, sliding window) и как проектировать metadata schema для chunks?

Базовый fixed-size chunking — fallback. Advanced паттерны: recursive (LangChain RecursiveCharacterTextSplitter с separator hierarchy `


→ . → ), semantic (SemanticChunker режет по embedding-similarity break-points), late chunking (Jina v3, Sep 2024 — эмбеддим весь документ одним forward pass, чанки получают token-pooled embeddings c global context), sliding window (overlap + small chunk для precision), document-aware (Markdown/code splitter по структуре). Metadata schema обязательно содержит: source, doc_id, chunk_id (stable), parent_doc_id, page/section, created_at, author, acl_tags, content_hash, language — это даёт metadata filtering и scoring boost при retrieval.