직무 소개
품질 평가자 – 영어
고급 AI 모델의 응답을 평가하고 비교하여 AI의 미래를 만들어 가는 데 도움을 주세요.
- 근무 위치: 원격
- 고용 형태: 독립 계약자 / 파트타임
- 근무 기간: 최대 3개월
- 보상: 시간당 $7-$12
직무 소개
Anyone AI에서는 최첨단 AI 모델을 위한 고품질 학습 및 평가 데이터를 만듭니다.
저희는 뛰어난 작문 능력, 비판적 사고력, 그리고 대규모 언어 모델(LLM)을 활용한 풍부한 실무 경험을 갖춘 영어에 유창한 전문가를 찾고 있습니다.
이 역할에서는 AI 모델과 직접 상호작용하고 그 응답을 나란히 비교하여 사용자의 요구를 가장 잘 충족하는 응답을 판단하게 됩니다. 귀하의 평가와 서면 설명은 AI 시스템의 정확성, 유용성, 신뢰성을 향상시키는 데 기여합니다.
주요 업무
- 다양한 프롬프트와 주제에 걸쳐 여러 AI 모델 및 도구와 상호작용합니다.
- 두 개 이상의 AI 생성 응답을 나란히 비교합니다.
- 정확성, 유용성, 지시 준수, 명확성, 전반적인 응답 품질을 평가합니다.
- 상세한 평가 지침과 다단계 평가 워크플로를 따릅니다.
- 평가 결정을 뒷받침하는 명확하고 논리 정연한 설명을 작성합니다.
- 평가 기준을 과제 전반에 걸쳐 일관되게 적용합니다.
자격 요건
- 영어에 유창하며 뛰어난 독해력과 작문 능력을 갖추고 있어야 합니다.
- LLM을 활용한 풍부한 실무 경험과 그 출력을 비판적으로 평가한 경험이 있어야 합니다.
- 강력한 분석적 판단력과 응답 품질의 여러 측면을 저울질할 수 있는 능력을 갖추고 있어야 합니다.
- 세심한 주의력과 복잡한 지침을 꼼꼼히 따를 수 있는 능력을 갖추고 있어야 합니다.
- 평가 결정을 명확하고 설득력 있게 설명할 수 있는 능력을 갖추고 있어야 합니다.
- AI 모델, 도구, 다단계 워크플로 사이를 능숙하게 오갈 수 있어야 합니다.
우대 사항
- AI 응답 평가, 데이터 주석 또는 품질 보증 분야의 이전 경험.
- 편집, 리서치, 사실 확인 또는 분석적 글쓰기 경험.
- 평가 루브릭 및 나란히 비교 과제에 대한 이해.