Есть ли прокторинг на Online Assessment Amazon?

За этим вопросом обычно скрывается ещё один, невысказанный, и честная версия этой страницы должна ответить на оба. В этом разделе мы их разделяем, потому что на первый есть лишь частичный ответ, а на второй — чёткий. Прокторинг — это спектр, а не переключатель «вкл/выкл», и кандидаты, спрашивающие «а есть ли прокторинг», часто имеют в виду сразу четыре разные вещи.

На одном конце — живой прокторинг человеком, когда кто-то в реальном времени смотрит видео с вашей камеры и может остановить сессию. Посередине — записываемый прокторинг, когда камера и экран фиксируются для последующего просмотра, и автоматическая разметка, когда программа оценивает вашу сессию на предмет аномалий без участия человека. На другом конце — обычная телеметрия: платформа теста логирует, что происходит на её собственной странице, а это делает любой онлайн-тест по определению, ведь это веб-приложение, фиксирующее вашу работу.

Поэтому тест может не иметь проктора в привычном смысле и при этом создавать подробную запись того, как вы работали. Именно путаница между этими двумя вещами и приводит к большинству неверных решений.

Amazon не публикует конфигурацию мониторинга своего Online Assessment, и никакой публичной спецификации, на которую можно было бы сослаться, не существует. Неизменно одно: тест приходит по почте с инструкциями, ограничением по времени и кодексом поведения, который вы принимаете перед началом. Именно это письмо вместе со страницей инструкций самой платформы теста является авторитетным источником для вашего теста. А обсуждение чьего-то OA за другой год, в другой стране или на другую роль — нет.

Отчёты кандидатов для теста по software engineering обычно описывают тест в браузере с ограничением по времени, который проходят в одиночку, без живого проктора и без требования включать веб-камеру. Эти отчёты достаточно согласованы, чтобы быть полезными, и достаточно ненадёжны, чтобы не строить на них план. Amazon проводит тесты для множества направлений и со временем меняла поставщиков и форматы; тест для не-инженерной роли или другого региона может совершенно не походить на тот, что проходил ваш знакомый.

Надёжнее всего — внимательно прочитать приглашение и, если что-то неясно, спросить у рекрутера. Задавать вопросы — это нормально и никак не наказывается. Другие материалы о том, что делают конкретные платформы для тестов, собраны в библиотеке о детектируемости.

Больше, чем можно подумать, судя по отсутствию веб-камеры. Тест выполняется на веб-странице, которую контролирует компания, поэтому она видит всё, что может наблюдать эта страница: когда сессия началась и закончилась, сколько времени заняла каждая задача, как менялся код между отправками, когда вкладка теряла и снова получала фокус, и как ваше итоговое решение выглядит на фоне решений всех остальных.

Последнее важнее всего и обсуждается меньше всего. Отправленные решения можно сравнить с решениями других кандидатов и с публичными решениями, и для такого сравнения не нужна ни камера, ни проктор. Это просто запрос, который выполняется позже, тихо, по данным, которые у платформы уже есть.

Поведение при вставке текста (paste) относится к той же категории. Фиксирует ли это конкретная платформа — заранее предполагать не стоит ни в ту, ни в другую сторону, но внутри страницы браузера это тривиально наблюдаемо, а логировать это компании ничего не стоит. Единственное предположение, которое не устареет: всё, что происходит на странице теста, потенциально наблюдаемо.

А вот и часть, из-за которой вопрос о прокторинге становится не так важен, как кажется. Прохождение теста — не последний раз, когда существует ваш код. Интервьюеры часто видят ваше решение OA перед собой на более позднем этапе, и попросить вас объяснить какое-то архитектурное решение в нём — для них обычный, простой вопрос.

Выпускник, проходивший собеседование на позицию начального уровня в разработке, прошёл тест с решением, которое сам до конца не продумал. На следующем этапе интервьюер спросил, почему в одной из функций он выбрал хеш-таблицу вместо отсортированной структуры. Ответить он не смог, и собеседование это не спасло, потому что разрыв между написанным кодом и устным объяснением — самый громкий сигнал во всём техническом цикле собеседований. Ничего не нужно было «детектировать» — всю работу сделал сам разговор.

Здесь же уместно честно сказать о самих инструментах. Live-ассистент для собеседований слушает речь интервьюера и подсказывает структуру ответа, пока вы говорите. У онлайн-теста нет интервьюера, он часто прямо подпадает под кодекс поведения, который вы приняли, и это ровно тот контекст, где ассистенту не место — наравне с тестами под прокторингом, записываемыми демонстрациями экрана и корпоративными устройствами. Что действительно помогает — так это репетировать устное объяснение собственных решений, и именно для этого нужна страница мок-интервью. То, как мы обрабатываем данные, описано на странице безопасности.