직무 소개
Anyone AI는 AI 모델 학습 및 평가에 사용되는 머신러닝 과제를 검토하고 평가하는 특화 프로젝트를 위해 경험 많은 머신러닝 엔지니어를 모집합니다.
업무는 ML 실험, 데이터셋, 지표, 파이프라인을 분석하여 해당 과제가 기술적으로 타당하고, 재현 가능하며, 적절한 난이도를 갖추고, 진정으로 강력한 머신러닝 추론을 요구하는지 판단하는 것입니다.
수행할 업무
다음과 관련된 ML 과제를 검토합니다:
- 실험 설계 및 모델 선택
- 소규모 및 합성 데이터셋
- 데이터 품질 및 전처리
- 분포 이동 및 데이터 오염
- 레이블 노이즈 및 피처 누출
- 모델 평가 및 지표 선택
- 하이퍼파라미터 튜닝
- 학습 / 검증 / 테스트 방법론
- 재현성 및 결정적 파이프라인
- 모델 개선의 통계적 유의성
이 역할의 핵심은 과제가 단순히 무차별적인 모델 선택이나 대규모 하이퍼파라미터 탐색으로 해결 가능한지를 넘어, 실제로 좋은 ML 추론에 보상을 주는지 판단하는 것입니다.
우리가 찾는 인재
- 실제 응용 머신러닝 경력 3년 이상
- 다음에 대한 강한 경험:
- ML 실험 설계
- 모델 선택
- 하이퍼파라미터 튜닝
- 모델 평가
- 데이터 전처리 및 검증
- 학습, 검증, 테스트 분할에 대한 깊은 이해
- 다음을 식별하는 능력:
- 데이터 누출
- 레이블 노이즈
- 분포 이동
- 허위 상관관계
- 피처 누출
- 데이터 오염
- 성능 개선이 무작위 변동이 아닌 통계적으로 의미 있는지 평가한 경험
- ML 평가 지표와 각 지표가 적절한 상황에 대한 깊은 이해
- CPU 및 GPU 환경 전반에서 ML 워크로드를 디버깅한 경험
- 기술적 문제를 분석하고 명확한 서면 피드백을 제공하는 능력
우대 사항
- Kaggle, DrivenData 또는 유사 ML 경진대회에 참가하거나 개최한 경험
- 벤치마크 데이터셋 또는 ML 과제를 설계한 경험
- 데이터 중심 AI 또는 데이터셋 품질 관련 배경
- 합성 데이터 생성 및 검증 경험
- 통계 검정, 신뢰 구간, 효과 크기에 대한 친숙함
- ML 평가 파이프라인, RLHF 또는 AI 모델 평가 경험
- ML 커리큘럼 또는 기술 평가를 개발한 경험
- 다음과 같은 일반적인 ML 실패 모드에 대한 이해:
- 지름길 학습
- 허위 상관관계
- 굿하트의 법칙
- 심슨의 역설
- 지표 게이밍
담당 업무
- ML 과제를 검토하고 잘 설계되었으며 기술적으로 해결 가능한지 판단
- 데이터셋에 의미 있고 학습 가능한 신호가 포함되어 있는지 평가
- 합성 데이터셋의 의도하지 않은 지름길 또는 아티팩트 식별
- 과제가 근본적인 ML 문제에 대한 진정한 진단을 요구하는지 판단
- 평가 지표 및 개선 임계값 검토
- 지표 게이밍, 데이터 누출, 평가 결함 탐지
- 전체 데이터 → 모델 → 평가 파이프라인 전반의 재현성 검증
- 과제 난이도가 적절하게 조정되었는지 평가
- 문제가 있는 과제를 개선, 재조정 또는 제외하기 위한 명확한 권장 사항 제공
계약 조건
근무 형태: 원격 계약 형태: 파트타임, 프로젝트 기반 컨설팅 중점 분야: 응용 머신러닝, 실험 설계, 데이터 품질, 모델 평가
이 역할은 실험 디버깅, 모델의 성공 또는 실패 원인 이해, 데이터셋 및 평가 파이프라인의 문제 식별, 엄격한 머신러닝 실험 설계를 즐기는 ML 엔지니어에게 매우 적합합니다.