AI 엔지니어 시스템 설계 면접 실전 가이드
작성자 Aaron Cao · 업데이트
머신러닝 시스템을 처음부터 끝까지 설계하도록 요구합니다: 데이터와 피처, 학습과 평가, 서빙과 지연 시간, 모니터링과 드리프트입니다. 최근 면접은 검색 증강 생성(RAG)과 모델 서빙에 크게 치우쳐 있습니다. 채점 기준은 당신이 방어할 수 있는 트레이드오프이지, 하나의 정답 아키텍처가 아닙니다.
이 라운드가 실제로 평가하는 것
이 문제는 처음 들으면 터무니없이 광범위하게 느껴집니다: 추천 시스템을 설계하라, 또는 사내 문서를 대상으로 하는 챗봇을 설계하라는 식입니다. 이 섹션에서는 면접관이 실제로 무엇을 채점하는지 설명하여, 범위의 넓음 자체가 문제가 되지 않도록 합니다. 요컨대 그들은 당신이 모호한 제품 요구사항을 숫자가 붙은 시스템으로 바꿀 수 있는지를 채점합니다.
네 가지가 점수의 대부분을 좌우합니다:
- 스코핑.무언가를 그리기 전에 사용자가 누구인지, 초당 쿼리 수는 얼마인지, 어떤 품질 기준이 성공으로 간주되는지 묻습니까?
- 데이터 판단력.학습 데이터는 어디서 오며, 어떻게 라벨링되고, 학습과 서빙 사이에서 무엇이 새어 나갑니까?
- 평가.오프라인 지표에 온라인 가드레일을 더한 것입니다. 평가 계획이 없는 답변은 아키텍처가 아무리 훌륭해도 주니어처럼 들립니다.
- 프로덕션 감각.지연 시간 예산, 요청당 비용, 재학습 주기, 그리고 모델이 틀렸을 때 어떤 일이 일어나는지입니다.
계속 반복되는 문제 유형
다섯 가지 문제 유형이 대부분의 AI 엔지니어 시스템 설계 라운드를 다룹니다:
- 비공개 문서에 대한 검색 증강 생성(RAG).청킹 전략, embedding 모델 선택, 벡터 인덱스, 재랭킹, 그리고 검색 결과에 관련된 것이 하나도 없을 때 어떻게 할지입니다.
- 대규모 모델 서빙.배칭, 양자화, GPU를 계속 바쁘게 유지하는 방법, 캐싱, 그리고 스코핑 단계에서 약속한 p99 지연 시간 목표입니다.
- 추천 또는 랭킹.후보 생성 후 랭킹, feature store, 학습과 서빙 간의 스큐(skew), 콜드 스타트입니다.
- 피처 파이프라인.스트리밍과 배치의 대비, 시점 정확성(point in time correctness), 백필입니다.
- 에이전틱 워크플로.도구 호출, 스텝 제한, 비용 상한, 그리고 사람이 어떻게 개입하는지입니다. 더 폭넓은 문제 은행은 면접 유형 섹션에 있습니다.
이들 각각에는 면접관이 기다리는 어려운 지점이 하나씩 있습니다. 검색의 경우 그것은 평가입니다. 누구나 벡터 데이터베이스의 이름을 댈 수 있지만, 검색이 개선되었는지 어떻게 측정할지 말할 수 있는 사람은 드뭅니다. 서빙의 경우 그것은 모델 크기에 대한 비용과 지연 시간의 트레이드오프입니다.
45분을 버티는 구조
처음 다섯 분은 요구사항과 숫자에 사용하고, 면접관이 볼 수 있는 곳에 적어 두십시오: 초당 쿼리 수, 허용 가능한 지연 시간, 품질 기준, 예산입니다. 그 이후의 모든 것은 이 네 가지 숫자를 다시 참조하게 되며, 이것이 답변을 도구 소개가 아니라 엔지니어링처럼 들리게 만드는 요소입니다.
그다음에는 폭 우선(breadth first)으로 진행합니다: 데이터 소스, 오프라인 학습, 아티팩트 저장소, 서빙 경로, 피드백 루프를 포함한 다이어그램을 그립니다. 전체 그림이 완성된 후에야 심층 탐구를 하며, 어떤 컴포넌트를 다룰지는 면접관이 고르게 하십시오. 마지막으로 두 가지 실패 모드와 각각을 잡아내기 위해 무엇을 모니터링할지 말하며 마무리하십시오.
어느 검색 회사의 시니어 직무에 지원한 한 머신러닝 엔지니어는 지원 티켓에 대한 시맨틱 검색을 설계하라는 요청을 받았습니다. 그녀는 스코핑에 네 분을 쓰고, 200밀리초의 p95 지연 시간과 고정된 월간 추론 예산에 전념한 뒤, 이 두 숫자를 사용해 대형 리랭커를 기각하고 상위 50개 후보에 대한 소형 크로스 인코더(cross-encoder)를 선택했습니다. 채점된 것은 모델 선택이 아니라 그 트레이드오프였습니다.
실시간 어시스턴트가 설계 라운드에서 도움이 되는 지점
시스템 설계는 말하고 그리는 것이므로, 다른 라운드보다 어시스턴트가 도움이 되는 정도가 적습니다. 어시스턴트가 할 수 있는 것은 체크리스트를 계속 눈앞에 두는 것입니다. SubcueAI는 회의 오디오를 듣고 로컬 오버레이에 구조를 표시합니다: 아직 묻지 않은 스코핑 질문, 건너뛴 평가 섹션, 짚고 넘어가야 할 실패 모드입니다. macOS와 Windows용 데스크톱 앱은 시스템 오디오와 마이크를 모두 캡처합니다. 브라우저 확장 프로그램의 사이드 패널은 회의 탭의 오디오만 캡처하므로, 면접관의 목소리만 들릴 뿐 당신의 발언은 기록되지 않습니다. 어떤 봇도 통화에 참여하지 않습니다.
이 라운드에서는 한계가 다른 어떤 라운드보다 더 중요합니다. 다이어그램을 그리기 위해 화면을 공유하고 있다면, 오버레이도 당신이 공유하는 화면 안에 있습니다. 감독관이 있는 평가와 회사가 관리하는 기기는 지원 범위 밖이며, 어떤 도구도 보편적으로 탐지 불가능하지는 않습니다. 어시스턴트 역시 채점 대상인 아키텍처 판단력을 대신 만들어 낼 수는 없습니다. 모의 면접 페이지에서 AI 면접관을 상대로 이런 문제를 연습하는 것이 그 능력을 키웁니다. 오버레이는 그저 30분 시점에 평가를 잊지 않게 해줄 뿐입니다.