직무 소개
프리랜서 · 원격 · 북미 지역 한정
Turing 소개
Turing은 프런티어 AI 연구소와 협력하여 고품질 학습 데이터, 평가, 엔지니어링 인재를 통해 모델 개발을 가속화하는, 세계를 선도하는 AGI 인프라 기업 중 하나입니다.
계약 조건
-
보수: 시간당 $100-$150, 희망하는 구체적인 시급을 제시해 주십시오
-
투입 가능 시간: 주당 20-40시간, 하루 최소 6시간은 태평양 시간대와 겹쳐야 함
-
형태: 독립 계약자
-
기간: 약 3개월
-
시작: 가능한 한 빨리
-
근무 지역: 북미 지역 한정
역할 소개
AI 코딩 모델을 평가하고 개선하는 데 기여할 실무 경험이 풍부한 소프트웨어 엔지니어를 찾고 있습니다.
주로 프로덕션 애플리케이션을 구축하는 것이 아니라, 실제 리포지토리 전반에서 코딩 에이전트와 함께 작업하며 그 작업물의 품질을 평가하게 됩니다. 생성된 코드와 에이전트의 동작을 검토하고, 솔루션이 기술적으로 올바른지 판단하며, 실패 유형을 파악하고, 모델 성능 개선에 사용되는 평가 신호와 피드백을 만들게 됩니다.
코딩 에이전트를 여러분이 작업물을 검토하는 또 한 명의 엔지니어라고 생각해 보십시오. 과제를 이해했는가? 올바른 접근 방식을 선택했는가? 결과 코드는 정확하고, 견고하며, 유지보수가 가능한가? 어디에서 성공했고 어디에서 실패했는지 정확하게 설명할 수 있는가?
수행 업무
-
선호도 데이터를 위한 루브릭과 평가 기준을 설계, 정교화하고 반복 개선합니다
-
높은 품질 기준으로 데이터를 검토하고 라벨링하며, 다른 사람이 놓칠 수 있는 미묘한 문제를 포착합니다
-
데이터 생성, 수집, 평가 워크플로를 지원하는 파이프라인과 인프라를 구축하고 유지 관리합니다
-
데이터 작업에서 얻은 결과를 팀을 위한 명확한 문서, 업데이트, 권고안으로 종합합니다
-
연구자 및 엔지니어와 긴밀히 협력하여 정성적 판단을 확장 가능한 프로세스로 전환합니다
자격 요건
-
5년 이상의 실무 소프트웨어 엔지니어링 경험
-
Python, TypeScript/JavaScript, Go 또는 기타 주요 프로덕션 언어에 대한 높은 숙련도
-
상당한 규모의 실제 코드베이스에서 작업한 경험
-
뛰어난 코드 리뷰 역량과 기술적 판단력
-
구현이 왜 올바른지, 올바르지 않은지 또는 어떻게 개선될 수 있는지를 명확하게 설명할 수 있는 능력
-
뛰어난 글쓰기 의사소통 능력
-
최신 LLM 또는 AI 코딩 도구 사용 경험
LLM 평가, 코딩 에이전트, RLHF, 선호도 데이터, 루브릭 설계 또는 포스트 트레이닝 경험은 우대하지만 필수는 아닙니다.
평가 절차
-
AI 인터뷰(약 25분)
-
실무형 코드/AI 평가 과제(약 30분)
-
채용 담당 매니저 인터뷰(약 20분)
실무형 과제는 AI가 생성한 코드를 검토하고 평가하는 역량에 초점을 맞추며, 경쟁 프로그래밍이나 알고리즘 퍼즐은 다루지 않습니다.