Платформизация AI-систем: проблемы больших и малых компаний. Антон Алексеев, MLOps-инженер, AvitoTech
Любая ML-платформа начинается одинаково: команде нужны GPU, трекинг экспериментов и способ доставить модель в прод. Сначала хватает devbox-ов, потом в каждом углу компании вырастает отдельная маленькая платформа со своим набором инструментов. GPU общие, контроль — у каждого свой. Рано или поздно велосипеды приходится парковать и строить единую платформу.
Этот путь проходит любая компания — разница в уровне проблем. Маленьким нужна гибкость: быстро собрать из open-source, легко заменить любой компонент. Большим — надежность: 500+ MAU, мультитенантность, observability и команда разработки, которая это поддерживает. Параллельно встает вопрос инференса: ML-модель — не веб-сервис, у нее свой жизненный цикл, и PaaS компании может просто не подойти.
В докладе разберем, на чем можно сэкономить, а где экономия выйдет боком — и почему инференс классических моделей и LLM приходится сочетать на одной платформе.