직무 소개
튜링 소개 튜링은 세계에서 가장 빠르게 성장하는 AI 기업 중 하나로, 강력한 AI 시스템의 발전과 배포를 가속화하고 있습니다. 여러분은 LLM이 실제 코드와 상호작용하는 방식을 평가하는 최전선에서 AI 지원 소프트웨어 개발의 미래에 영향을 미치게 됩니다. 실무 소프트웨어 엔지니어링과 AI 연구를 결합할 수 있는 특별한 기회입니다.
직무 소개:
저희는 AI 에이전트의 코딩 역량 향상에 초점을 맞춘 최첨단 AI 훈련 및 평가 이니셔티브를 지원할 숙련된 소프트웨어 엔지니어를 찾고 있습니다. 이 역할에서 여러분은 실제 소프트웨어 엔지니어링 과제 전반에 걸쳐 AI가 생성한 코딩 솔루션을 검토하고 비교하게 됩니다. 완전한 에이전트 실행 워크플로를 분석하고, 코드의 정확성, 효율성, 안전성 및 전반적인 품질을 평가하며, AI 지원 소프트웨어 개발 개선에 도움이 되는 구조화된 평점과 근거 기반 피드백을 제공하게 됩니다.
일상 업무 예시:
- 동일한 실제 개발자 요청을 각각 받은 세 개의 AI 코딩 에이전트를 검토합니다.
- 각 에이전트의 전체 실행 내역을 읽습니다: 실행한 명령, 변경한 파일, 확인한 사항 및 최종 메시지.
- 그런 다음 어떤 실행이 작업을 가장 잘 수행했는지 판단합니다.
각 과제마다
- 지시 준수, 코드 작동 여부, 효율성, 안전성, 정직성 및 커뮤니케이션 등 10개의 품질 영역에서 각 실행을 평가합니다.
- 각 실행에 1에서 5까지의 종합 점수를 부여하고 세 개의 순위를 매깁니다.
- 실행에서 얻은 근거를 바탕으로 순위를 설명하는 짧은 근거를 작성합니다.
필수 역량:
- 최소 3년 이상의 전체 경력
- 다음 언어 중 최소 하나에 대한 탄탄한 경험: Python, JavaScript/TypeScript, Java, Go, PHP 또는 유사 언어.
- Shell 명령, Git, Docker 및 기본 소프트웨어 파이프라인 설정 능숙.
- 실제 프로젝트를 로컬에서 실행, 수정 및 테스트하는 데 능숙.
평가 및 선발 과정
- 후보자는 선발 과정의 일환으로 세 가지 실습 평가 과제를 완료해야 합니다.
- 각 평가는 품질 평점, 종합 점수, 비교 순위 및 서면 근거를 요구합니다.
- 검토자가 각 과제의 기술적 정확성, 일관성 및 추론 품질을 평가합니다.
- 세 가지 실습 과제가 모두 승인된 후에만 후보자가 온보딩됩니다.
중요 — 엄격한 무AI 정책
- 평가 근거, 설명 또는 이유를 작성하기 위해 CHATGPT 또는 기타 AI 도구를 사용하지 마십시오.
- 모든 근거와 추론은 후보자가 독립적으로 작성해야 합니다.
- 준수 여부가 확인됩니다. AI가 생성한 근거 또는 이유를 사용하는 경우 자동으로 거부됩니다.
튜링과 함께 프리랜서로 일하는 혜택
- 완전 원격 환경에서 근무합니다.
- 선도적인 LLM 기업과 함께 최첨단 AI 프로젝트에 참여할 기회.
채용 세부 사항
- 필요 근무 조건: 하루 최소 8시간, 주당 40시간, PST와 4시간 겹치는 근무.
- 고용 형태: 계약직(의료/유급 휴가 없음)
- 계약 기간: 1개월; [예상 시작일은 다음 주]
- 지급 모델: 승인된 과제당 $25
- 근무 위치: 인도, 파키스탄, 나이지리아, 케냐, 이집트, 가나, 방글라데시, 튀르키예, 멕시코, LA
평가 과정(약 75분):
- 평가 기반 검토