Модель не влезает в одну карту: чем отличаются тензорный и конвейерный параллелизм?

Тензорный параллелизм режет каждый слой между картами: все карты работают над одним токеном одновременно, но после каждого слоя обмениваются результатами — значит нужна быстрая связь между картами внутри одного узла. Конвейерный отдаёт каждой карте свои слои целиком: обмен редкий и лёгкий, зато карты простаивают в ожидании соседей. На практике внутри узла берут тензорный, между узлами — конвейерный, а лучший вариант — уместиться в одну карту квантизацией.