직무 소개
이 시간제 원격 계약직 역할에서, 귀하는 STEM 및 기술 주제 전문가(SME)로서 도전적인 전문가 수준의 질문을 만들고, AI가 생성한 기술 콘텐츠를 평가하며, 정확하고 엄격하며 전문가 품질의 답변이 무엇을 포함해야 하는지 정의하는 상세한 루브릭을 설계하게 됩니다.
귀하는 단순한 사실 암기가 아닌 고급 추론을 테스트하는, 자신의 전문 분야 내의 문제를 개발하게 됩니다. 귀하는 최첨단 AI 모델의 약점을 식별하게 되며, 여기에는 잘못된 가정, 불완전한 추론, 수학적 또는 과학적 오류, 놓친 엣지 케이스, 그리고 그럴듯해 보이지만 전문가의 면밀한 검토에서 실패하는 답변이 포함됩니다.
이 역할의 주요 초점은 루브릭 설계 및 작성입니다. 귀하는 복잡한 기술적 판단을 명확하고 구체적이며 측정 가능한 평가 기준으로 전환하게 되며, 여기에는 필수 개념, 추론 단계, 허용 가능한 대안 접근법, 중대한 오류, 부분 점수 고려 사항이 포함됩니다. 귀하는 다른 전문가가 개발한 루브릭을 비판하고 개선할 수도 있습니다.
이 역할은 빠르게 성장하는 AI 데이터 서비스 회사이자 SuperAnnotate의 자회사인 SME Careers에 있으며, 세계 최대 AI 기업 및 기반 모델 연구소 다수를 위해 학습 데이터를 제공합니다. 귀하의 기술 전문성은 AI 모델의 추론을 더 정확하고 엄격하며 신뢰할 수 있게 만들어 세계 최고의 AI 모델을 개선하는 데 직접적으로 기여합니다.
수행할 업무
- 전문가 수준의 기술 질문 작성: 진정한 기술적 추론을 테스트하고 고급 AI 시스템의 약점을 드러내는 어려운 질문을 개발합니다.
- 평가 루브릭 설계: 정확하고 엄격하며 완전한 응답이 반드시 포함해야 하는 내용을 정의하는 구조화된 기준을 작성합니다.
- 부분 점수 기준 정의: 필수 추론 단계, 허용 가능한 대안, 사소한 오류, 중대한 실패를 식별합니다.
- AI 생성 솔루션 평가: 정확성, 추론 품질, 완전성, 방법론, 기술적 정밀성 측면에서 출력을 평가합니다.
- 숨겨진 추론 오류 식별: 답변이 잘못된 가정이나 결함 있는 논리를 사용하여 올바른 결론에 도달하는 경우를 감지합니다.
- 동료 루브릭 비판: 다른 전문가의 기준을 기술적 정확성, 명확성, 완전성, 채점 일관성 측면에서 검토합니다.
- 참조 콘텐츠 개발: 전문가 답변, 설명, 비판 및 기타 최고 표준 콘텐츠를 제작합니다.
- AI 학습 지원: RL 및 SFT 워크플로우에 적합한 질문, 루브릭, 평가, 선호도 판단, 참조 답변 쌍을 생성합니다.
- 기술적 엄격성 유지: 콘텐츠가 관련 분야 내에서 적절한 전문적 또는 학문적 기준을 반영하도록 보장합니다.
자격 요건
- 수학, 물리학, 화학, 공학, 컴퓨터 과학, 통계학, 응용 과학 또는 기타 기술 분야에서 학사 학위 이상.
- 영어에 대한 강한 전문적 능력, 최소 C1, 정확한 기술 설명 및 평가 기준을 작성할 수 있는 능력.
- 명시된 기술 도메인에서 3년 이상의 전문적, 학문적, 연구 또는 산업 경험.
- 명확하게 정의된 기술 분야 또는 전공에서 입증된 고급 전문성.
- 다단계 추론, 도메인 전문성 또는 전문적 판단을 요구하는 도전적인 기술 질문을 만들 수 있는 능력.
- 필수 추론, 올바른 방법론, 허용 가능한 대안, 부분 점수 기준, 중대한 오류를 정의하는 상세한 평가 루브릭을 설계할 수 있는 강한 능력.
- 올바른 최종 답변과 타당한 추론 대 결함 있는 추론으로 뒷받침된 답변을 구별할 수 있는 능력.
- 모호성, 누락된 기준, 중복성, 기술적 부정확성 또는 빈약한 채점 설계에 대해 다른 전문가의 루브릭을 검토하고 비판하는 데 능숙함.
- 공식, 가정, 단위, 방법론, 엣지 케이스, 논리적 일관성, 기술 용어를 평가할 때 세밀한 주의력.
- 시험 출제, 학술 채점, 동료 검토, 연구 검토, 기술 QA, 표준 개발 또는 평가 설계 경험이 강력히 우대됩니다.
- AI 평가, RLHF, SFT, 벤치마킹, 데이터 주석, 프롬프트 설계 또는 LLM 평가 경험이 우대됩니다.
- 신뢰할 수 있고 자기 주도적이며, 시간제 원격 계약직 워크플로우에서 일관된 품질을 제공할 수 있는 능력.