Давно хотел поделиться тем, что происходит под капотом LLM Platform, которую мы строим внутри ТБанка. Пост на грани NDA. В какой-то момент мы осознали, что без цельного платформенного слоя любые инициативы с GenAI будут буксовать. На схеме — как раз тот каркас, который у нас сложился и который мы продолжаем развивать. И если ещё год назад мы спорили об отдельных «кубиках», то сегодня то, что мы строим, — де-факто канонический GenAI-стек. (вот тут ещё интересная статья) Из чего он состоит на высоком уровне: — LLM API Gateway — единая точка доступа до внутренних (qwen?) и внешних (deepseek?) моделей, — RAG Platform — конвейер для превращения любых данных в пайплайн Retrieval-Augmented Generation, — Observability Platform — прозрачность всех LLM-процессов в реальном времени, — Orchestration & automation — набор инструментов построения произвольных GenAI-пайплайнов с минимум кода, — LLM Sec — модули безопасности, политик и аудирования, — Assistant Runtime Platform — среда выполнения произвольных AI-ассистентов. И если LLM Gateway — это нифига себе высоконагруженный модуль, на базе которого построены как внутренние, так и внешние продукты, то вот как конкретно построить единый Tools Registry, мы всё ещё размышляем и экспериментируем.