머신러닝 면접에서는 어떤 질문을 예상해야 하나요?

머신러닝 채용 절차는 일반 소프트웨어 직군보다 면접 단계가 많은 편이며, 각 단계에서는 서로 다른 영역을 평가합니다. 어떤 영역인지 알면 면접관이 원하는 답변의 유형을 파악할 수 있습니다.

• 기초 개념. 학습, 일반화, 최적화에 관한 이론 질문입니다. 면접관은 암기한 정의가 아니라 특정 기법이 작동하는 이유를 이해하고 있는지 듣고 싶어 합니다.
• 평가와 실험. 지표 선택, 검증 전략, 오프라인 결과와 온라인 결과의 차이, 그리고 모델이 실제로 도움이 되었음을 입증할 실험을 설계하는 방법을 묻습니다.
• 응용 모델링. 특성 공학, 데이터 누수, 클래스 불균형, 실제 데이터세트의 까다로운 문제를 다룹니다. 이런 질문은 지원자가 수행한 프로젝트 중 하나를 중심으로 제시되는 경우가 많습니다.
• ML 시스템 설계. 모델이 데이터를 얻는 방법, 학습과 재학습 방식, 예측을 서빙하는 방법, 프로덕션 환경에서 성능 저하를 감지하는 방법을 묻습니다.
• 코딩. pandas 또는 순수 Python 과제가 나오며, 때로는 k-means나 로지스틱 회귀 같은 작은 알고리즘을 처음부터 구현해야 합니다.

행동 면접 질문도 나오며 다른 직무와 동일한 원칙이 적용됩니다. 이에 대해서는 질문 모음 주제에서 별도로 다룹니다.

회사마다 표현은 달라도 본질적인 질문은 반복됩니다. 일상적인 언어로 자연스럽게 설명할 수 있을 때까지 다음 질문을 연습하세요.

• 편향과 분산: 모델이 과적합인지 과소적합인지 어떻게 진단하고, 무엇을 먼저 바꾸겠습니까? 정규화는 모델에 어떤 영향을 주며, 언제 L2보다 L1을 선호하겠습니까?
• 검증: 시계열 데이터에서 무작위 학습-테스트 분할이 오해를 부르는 점수를 낼 수 있는 이유는 무엇입니까? 언제 계층화 교차 검증이나 그룹 교차 검증이 필요합니까?
• 지표: 정확도가 부적절한 지표가 되는 경우는 언제입니까? 제품 관리자에게 정밀도, 재현율, ROC 곡선을 설명해 보세요. 사기 탐지에서는 어떤 지표를 최적화하고, 그와 함께 무엇을 모니터링하겠습니까?
• 데이터 문제: 타깃 누수란 무엇이며 어떻게 발견해 보았습니까? 데이터를 인위적으로 만들어 내지 않고 심각한 클래스 불균형을 어떻게 처리합니까? 모델이 우연히 결측 자체를 학습하지 않도록 결측값을 어떻게 처리합니까?
• 모델: 표 형식 데이터에서 경사 부스팅 트리가 신경망보다 나은 경우는 언제입니까? 트랜스포머의 어텐션 메커니즘은 실제로 무엇을 계산합니까? 임베딩이 카디널리티가 높은 범주형 특성에 도움이 되는 이유는 무엇입니까?
• 최적화: 학습률이 너무 높거나 너무 낮으면 어떤 일이 발생합니까? 배치 정규화가 학습을 더 쉽게 만드는 이유는 무엇입니까?
• 시스템 설계: 마켓플레이스용 추천 시스템을 설계해 보세요. 배포 후 데이터 드리프트를 어떻게 감지하겠습니까? 오래된 예측을 서빙하지 않으면서 모델을 어떻게 재학습하겠습니까?
• 실험: 오프라인 지표는 개선되었지만 A/B 테스트 결과에는 변화가 없습니다. 무엇을 확인하겠습니까?

각 질문에 자신의 업무에서 나온 구체적인 사례를 하나씩 들어 답할 수 있다면 기초 면접에서 나올 만한 내용은 대부분 준비한 셈입니다.

내용을 알고 있어도 화상 통화에서 설명을 요청받으면 말이 막히는 것은 자연스러운 일입니다. 이 섹션에서는 답변을 말로 구성하는 방법을 소개합니다. 간단히 요약하면 정의, 판단, 사례, 한계입니다.

• 정의를 공식보다 먼저 일상적인 표현으로 한 문장 안에 설명합니다.
• 판단: 언제 그것을 사용하고 대신 무엇을 선택할지 설명합니다. 면접관은 용어 지식이 아니라 판단력을 평가하기 때문입니다.
• 사례는 실제 프로젝트에서 가져옵니다. 데이터세트가 무엇이었고, 어떤 문제가 있었으며, 무엇을 바꿨고, 어떤 결과가 달라졌는지 말합니다.
• 한계: 해당 기법이 어느 상황에서 제대로 작동하지 않는지 설명합니다. 이는 실패를 경험할 만큼 충분히 활용해 보았다는 신호가 됩니다.

한 데이터 과학자가 마켓플레이스 기업의 ML 직무 면접에서 순위 모델의 오프라인 성능은 훌륭했지만 A/B 테스트에는 아무런 효과가 없었던 이유를 질문받았습니다. 그는 네 단계로 답합니다. 오프라인과 온라인 결과의 격차가 무엇인지, 로그 데이터의 위치 편향이 자신의 사례에서 왜 원인이 되었는지, 어떤 반사실적 평가를 추가했는지, 그리고 로깅이 충분히 무작위화된 경우에만 그 평가가 유효하다는 한계를 설명합니다. 이런 답변은 완벽한 수식 유도보다 가치가 큽니다. 말로 답하는 연습을 위해 바로 모의 면접 도구가 마련되어 있습니다. 실제 면접관처럼 후속 질문도 제시합니다.

대화형 면접에서는 제한적인 범위 안에서 도움이 됩니다. SubcueAI의 기본 macOS 및 Windows 데스크톱 앱은 통화의 시스템 오디오와 사용자의 마이크 소리를 캡처하고, Zoom, Google Meet 또는 Microsoft Teams에서 면접관의 질문을 들은 뒤 사용자 화면에만 표시되는 플로팅 오버레이에 간결한 답변 구조를 제안합니다. Chrome 또는 Edge 브라우저 탭에서 진행되는 통화에는 브라우저 확장 프로그램의 Side Panel이 회의 탭 오디오만 캡처하므로 면접관의 말은 들을 수 있지만 사용자의 말은 전사하지 않습니다. 어느 방식도 봇으로 통화에 참여하거나 회의 페이지에 무언가를 삽입하지 않습니다. 이력서를 업로드했다면 제안에 사용자의 프로젝트를 반영할 수 있으며, 바로 이런 부분이 ML 답변의 평가를 높여 줍니다.

제한 사항은 모든 기술 면접에 적용되는 것과 같습니다. 감독형 코딩 테스트, 과제 또는 회사에서 관리하는 기기로 진행되는 세션은 SubcueAI의 사용 범위에 포함되지 않습니다. 또한 전체 화면을 공유하면 모두에게 오버레이가 보이므로, 공유 화면에서 화이트보드로 수식을 유도하는 작업은 직접 해야 합니다. SubcueAI의 창립자 Aaron Cao는 답을 그대로 지시하는 대신 구조와 어휘를 제시하도록 오버레이를 만들었습니다. ML 면접관은 모든 주장에 후속 질문을 하고, 빌려 온 답변은 두 번째 질문에서 무너지기 때문입니다. 두 방식의 설정 방법은 튜토리얼 페이지에 있으며, 데스크톱 앱과 확장 프로그램의 실질적인 차이는 비교 페이지에서 설명합니다.