직무 소개
이 시간제 원격 계약직 역할에서, 귀하는 데이터 사이언스 QA 리드(QAL)로서 데이터 사이언스 AI 훈련 프로젝트 전반의 품질, 일관성, 트레이너 성과를 감독하게 됩니다. AI가 생성한 데이터 사이언스 콘텐츠와 트레이너/QA 작업을 검토하고, 프로젝트 가이드라인에 따라 산출물 품질을 평가하며, 정확한 서면 피드백을 제공하고, 기여자들이 기대 품질 기준을 준수하도록 보장합니다.
귀하는 작업의 통계적 정확성, 데이터 추론, 모델 선택 품질, 코드 정확성, 재현성, 지표 해석, 비즈니스 맥락 인식, 명확성, 형식, 지시 준수, 프로젝트별 평가 기준 준수를 평가하게 됩니다. 반복되는 품질 문제를 발견하고, 트레이너와 QA에게 업데이트를 전달하며, 온보딩을 지원하고, 문서를 유지하며, 일관되게 작업하지 않는 기여자의 활성화를 돕습니다.
이 역할은 빠르게 성장하는 AI 데이터 서비스 회사이자 SuperAnnotate의 자회사인 SME Careers에 소속되어 있으며, 세계 최대 AI 기업 및 파운데이션 모델 연구소 다수에 훈련 데이터를 제공합니다. 귀하의 데이터 사이언스 품질 리더십은 훈련 데이터가 분석적으로 건전하고, 재현 가능하며, 명확히 설명되고, 고객 기대에 부합하도록 보장하는 데 기여합니다.
선발 과정은 AI 면접, 도메인별 과제, 채용 담당자 면접으로 구성됩니다.
중요: 이 역할에 대한 즉시 프로젝트는 없습니다. 다만 자격을 갖춘 경우, 관련 기회가 발생할 때 가장 먼저 연락드리는 전문가 중 한 명이 되실 것입니다. 이를 통해 전문가 네트워크를 통해 이용 가능한 향후 프로젝트에도 접근하실 수 있습니다.
수행 업무
- 품질 모니터링: 데이터 사이언스 항목을 표본 점검하고, 품질 문제를 식별하며, DM을 통해 피드백을 제공하고, 반복되거나 중대한 문제를 에스컬레이션합니다.
- 기술 검토: AI가 생성한 데이터 사이언스 설명, Python/R/SQL 스니펫, 모델링 워크플로, 통계 해석, 대시보드, 실험 설계, 단계별 추론을 평가합니다.
- 트레이너 및 QA 소통: Discord에서 트레이너/QA에게 가이드라인 변경, 워크플로 업데이트, 데이터 사이언스 관련 품질 기대치를 전달합니다.
- 질문 처리: 통계적 가정, 지표, 모델 선택, 데이터 누출, 검증, 코딩 선택, 재현성, 평가 기준 해석에 관한 질문에 응답합니다.
- 트레이너/QA 활성화 관리: 비활성 기여자에게 DM을 보내고, 활성화를 독려하며, 후속 조치를 추적하고, 가용성 문제를 표시합니다.
- 문서화: 데이터 사이언스 스타일 가이드, 트래커, FAQ, 예시, 허니팟, 캘리브레이션 과제, 온보딩 자료를 작성하고 유지합니다.
- 온보딩 및 교육: 기여자와 온보딩/교육 통화를 일정 조정하고 진행하여 프로젝트 기대치, 워크플로, 평가 기준, 데이터 사이언스 검토 기준을 설명합니다.
- 위험 검토: 오해를 유발하거나, 과도하게 확신하거나, 통계적으로 타당하지 않거나, 재현 불가능한 데이터 사이언스 산출물을 표시합니다.
- 프로세스 개선: 반복되는 품질 격차를 식별하고 확장 가능한 QA 프로세스 구축을 돕습니다.
자격 요건
- 데이터 사이언스, 통계학, 컴퓨터 과학, 머신러닝, 수학, 경제학, 공학 또는 이와 밀접한 정량 분야의 학사, 석사 또는 박사 학위.
- 가이드라인을 따르고, 팀과 소통하며, 명확한 기술 피드백을 제공할 수 있는 강한 영어 능력.
- 데이터 사이언스, 분석, 머신러닝, 통계 모델링, 실험, 데이터 엔지니어링, 기술 검토 또는 데이터 사이언스 교육 분야에서 3년 이상의 전문 경력.
- 통계학, 확률, 데이터 정제, 탐색적 데이터 분석, 피처 엔지니어링, 지도/비지도 학습, 모델 평가, 실험, 회귀, 분류, 클러스터링, 검증 방법에 대한 강한 이해.
- 상세한 평가 기준에 따라 데이터 사이언스 콘텐츠를 평가하고 데이터 누출, 결함 있는 가정, 잘못된 지표, 취약한 방법론, 재현 불가능한 코드, 환각된 라이브러리/API, 오해를 유발하는 결론 등의 문제를 식별하는 능력.
- Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, 노트북, 대시보드, 클라우드/데이터 플랫폼과 같은 도구에 대한 친숙함이 선호됩니다.
- 트레이너, 어노테이터, 분석가, 데이터 사이언티스트, 엔지니어, 교육자 또는 QA로 구성된 원격 팀을 이끌거나 지원한 경력이 강하게 선호됩니다.
- Discord, Google Sheets, Google Docs, 트래커, 대시보드, GitHub, 프로젝트 관리 시스템 사용에 능숙함.
- 고도로 조직적이며 스타일 가이드, 트래커, FAQ, 온보딩 자료, 허니팟, 캘리브레이션 과제, 품질 문서를 유지할 수 있음.
- AI 훈련, 데이터 어노테이션, LLM 평가, 데이터 사이언스 QA 또는 평가 기준 기반 기술 검토 경험이 있으면 강력한 우대 사항입니다.