Skip to content
10 / 12

Среда для экспериментов: ноутбуки, доступ к данным и контроль расходов

Исследовательская среда — та часть инфраструктуры, где расходы и утечки возникают тише всего. Три требования. Изоляция и воспроизводимость: ноутбук запускается в контейнере с зафиксированным образом, а не на машине с уникальным набором библиотек; иначе результат эксперимента невозможно повторить, а перенос в прод превращается в переписывание. Контролируемый доступ к данным: не выгрузка датасета на ноутбук исследователя, а доступ к общему хранилищу с журналированием и с ограничением на персональные данные — маскированные или синтетические выборки для большинства задач. Контроль расходов: карты в исследовательской среде простаивают большую часть времени, поэтому нужны автоматическая остановка бездействующих сессий, квоты на команду и видимость расходов по владельцу. Отдельная практика — выход из ноутбука: код, который переживает эксперимент, переносится в репозиторий и запускается как задание, а не остаётся в ячейках навсегда.

Среда для экспериментов: ноутбуки, доступ к данным и контроль расходов | JScriptiser