직무 소개
Turing 소개
Turing은 강력한 AI 시스템의 발전과 도입을 가속화하는, 세계에서 가장 빠르게 성장하는 AI 기업 중 하나입니다. Turing은 선도적인 AI 연구소가 고품질의 인간 피드백, 평가, 학습 데이터를 통해 대규모 언어 모델(LLM)의 추론, 문제 해결, 의사결정 역량을 향상하도록 돕습니다.
역할 개요
프런티어 AI 모델의 코딩 역량을 평가, 벤치마킹, 개선할 경력 있는 소프트웨어 엔지니어를 찾고 있습니다. 이 역할에서는 AI가 생성한 코드를 평가하고, 실제 소프트웨어 엔지니어링 과제에 대해 솔루션을 검증하며, 정확성과 품질 문제를 식별하고, 고품질 평가 데이터셋과 벤치마크 개발에 기여하게 됩니다.
이 포지션은 코드 리뷰, 디버깅, 문제 해결을 즐기고 복잡한 기술 시나리오에 탄탄한 소프트웨어 엔지니어링 판단력을 적용하는 엔지니어에게 이상적입니다. 귀하의 업무는 고급 AI 코딩 시스템의 성능을 측정하고 개선하는 데 직접 기여합니다.
일상 업무는 어떤 모습인가요?
- AI가 생성한 코드의 정확성, 효율성, 유지 관리성, 요구 사항 준수 여부를 검토하고 평가합니다.
- 소프트웨어 엔지니어링 과제를 분석하고 제안된 솔루션이 기대 결과를 충족하는지 검증합니다.
- 코드를 디버깅하고 문제를 재현하며 다양한 프로그래밍 환경에서 수정 사항을 확인합니다.
- 모델이 생성한 설명, 추론, 구현 접근 방식의 기술적 정확성을 평가합니다.
- 코딩 과제를 위한 평가 데이터셋, 벤치마크, 채점 루브릭을 만들고 다듬고 유지 관리합니다.
- 엣지 케이스, 실패 유형, AI 시스템이 소프트웨어 엔지니어링 문제에서 어려움을 겪는 영역을 식별합니다.
- 결과를 명확하게 문서화하고 구조화된 피드백을 제공하여 평가의 품질과 일관성을 개선합니다.
- 프로젝트 팀과 협업하여 품질 기준과 평가 방법론을 수립합니다.
요건
- 컴퓨터 공학, 소프트웨어 공학 또는 관련 기술 분야의 학사 또는 석사 학위.
- 전문 소프트웨어 엔지니어링 경력 3년 이상.
- 다음 언어 중 하나 이상에 대한 높은 숙련도: Python, Java, C/C++, Go, Swift, Objective-C, PHP 또는 SQL.
- 자료구조, 알고리즘, 소프트웨어 설계 원칙, 디버깅 방법론에 대한 깊은 이해.
- 프로덕션 환경 또는 대규모 코드베이스에서 코드 리뷰를 수행하고 코드 품질을 평가한 경험.
- 최소한의 감독 하에 복잡한 기술 문제를 분석하고 솔루션의 정확성을 평가할 수 있는 능력.
- 버전 관리 시스템(예: Git)과 최신 소프트웨어 개발 워크플로에 대한 이해.
- 뛰어난 서면 의사소통 능력과 세부 사항에 대한 주의력.
- AI/ML 데이터 어노테이션, NLP, 프롬프트 엔지니어링, 모델 평가 또는 LLM 관련 프로젝트 경험은 가산점이 됩니다.
- AI가 생성한 코드 평가, 벤치마크 제작 또는 소프트웨어 품질 평가 경험이 있으면 크게 우대합니다.
Turing과 함께하는 프리랜서 활동의 혜택
- 완전 원격 환경에서 근무
- 선도적인 LLM 기업과 함께 최첨단 AI 프로젝트에 참여할 기회
제안 내용
- 요구 투입 시간: 하루 최소 4시간, 주당 최소 20시간이며, PST와 4시간 겹쳐야 합니다.
- 계약 형태: 계약직 (병가·유급 휴가 없음)
- 계약 기간: 1개월; [예상 시작일은 다음 주입니다]
- 근무 지역: 미국에 한함
평가 절차
- Python 및 Docker 테스트를 위한 온라인 자동 코딩 챌린지 (RHLF)