Как и обещала, пул вопросиков с собеса (по названию вакансии как мне озвучил собеседующий "ИИ фулстек тестировщик": ✈️Расскажи про проект, по которому тестировала нейросеть ✈️Если модель выдает неверный ответ, какие шаги локализации и какие могут быть причины? ✈️Как ты видишь тестирование связки апи с моделью? Какие там есть функциональные тесты и нефункциональные? ✈️У нас есть связка апи и модель. Апи принимает текст, возвращает json. Какие по качеству модели у нас есть метрики? ✈️Как проверяешь галлюцинации? ✈️Как оценить качество ответа модели, если нет эталонного ответа? ✈️Если модель на часть запросов отвечает на английском, хотя должна по идее на русском, как будешь это тестировать. Например, мы смотрим несколько промптов, где модель отвечает на английском, на что мы обращаем внимание? 🐍По поводу автоматизации, какой опыт написания тестов на питоне. 🐍Как решить проблему при запуске автотестов: предположим у нас есть 100 тестов, мы их запускаем, около 5-6 всегда падают, но при этом это разные тест-кейсы. Т.е. не одни и те же, а проблема плавающая. (в ответе ключевой момент данные, тестовое окружение, асинхронность) 🐍Пример сложного сценария, который автоматизировала на проекте 😀Как работают ассинхронные очереди, на примере кафка и rmq. 😀Как работает rmq – как он с другими компонентами системы связан и для чего он нужен. 😀Рассказать что знаешь про нагрузочное тестирование (желательно опыт) 😀Как бы ты локализовал дефект в микросервисной архитектуре: мы через веб заходим, нажимаем кнопку подписать, у нас падает 500, открываем превью – видим по обращению по такому-то эндпоинту 500 error. И дальше лог этот обрывается. Посмотрели в логи – там тоже самое в консоли подключения к другому сервису. 😀Работала с кубером? с опеншифтом? 😀Как взаимодействуешь с девопсами? 😀Если в логах ошибка что невалидные сретификат, к кому обращаться к девопсу или разработчику? 😀Как тестировщики участвовали в релизном процессе? 😀Интеграционные тесты между двумя системами: какие есть источники багов и на каком этапе мы можем их предотвратить, отловить, исправить. Т.е. из-за чего эти баги появляются и как с ними работать? 😀Разницу в контрактах на каком этапе можем отловить и как это исправляется обычно? 😀Как с SQL? Найти клиента у которых сумма заказа больше 10тысяч. Табличка ордерс. И есть клиент айди и сумма. (Тут вероятнее добавить в ответ использование having, но зависит от специфики проекта) 😀С redis доводилось работать, может были проблемы с кэшированием? 😀По командным навыкам: был случай, конфликты с разработчиками, аналитиками? Например, баг есть, а разработчик считал, что бага нет. 😀С понятием rate limit, rts знакома? #life #собес #QA #тестирование #аутсорс #карьера