의료 전문가 – 루브릭 설계

이 시간제 원격 계약직 역할에서 귀하는 의료 분야 전문가(SME)로서 난이도 높은 전문가 수준의 의료 질문을 작성하고, AI가 생성한 임상 콘텐츠를 평가하며, 정확하고 완전하며 전문적으로 적절한 답변이 무엇을 포함해야 하는지 정의하는 고품질 루브릭을 설계하게 됩니다.

귀하는 임상 또는 전문 지식을 활용하여 최전선 AI 모델이 불완전하거나, 부정확하거나, 추론이 빈약하거나, 과도하게 확신하거나, 임상적으로 불충분한 응답을 제공할 수 있는 영역을 식별하게 됩니다. 귀하는 자신의 분야 내에서 특화된 질문을 작성하고, 상세한 채점 기준을 개발하며, 다른 의료 전문가가 작성한 루브릭을 비판하고, 정확한 서면 피드백을 제공하게 됩니다.

이 역할의 주요 초점은 루브릭 설계와 전문가 평가입니다. 귀하는 피상적인 답변과 전문가 수준의 응답을 구별하는 핵심 임상 개념, 추론 단계, 관련 유의사항, 허용 가능한 대안 접근법, 중대한 누락, 그리고 치명적 오류를 정의하게 됩니다.

이 역할은 빠르게 성장하는 AI 데이터 서비스 기업이자 SuperAnnotate의 자회사인 SME Careers 소속으로, 세계 최대 AI 기업 및 파운데이션 모델 연구소 다수에 학습 데이터를 제공합니다. 귀하의 의료 전문 지식은 응답을 더 정확하고, 임상적으로 적절하며, 엄격하고, 신뢰할 수 있게 만들어 세계 최고의 AI 모델을 개선하는 데 직접적으로 기여합니다.

수행 업무

• 전문가 의료 질문 작성: 고급 AI 시스템의 한계를 드러낼 수 있는 특화된 질문을 개발합니다.
• 상세한 루브릭 설계: 정확하고 완전하며 임상적으로 적절한 답변에 필요한 구성 요소를 정의합니다.
• 핵심 기준 식별: 필수적인 임상 추론과 보충 정보를 구별합니다.
• AI 응답 평가: 모델 출력물의 사실적 정확성, 추론, 안전성, 완전성, 전문적 품질을 평가합니다.
• 미묘한 실패 식별: 누락된 고려사항, 근거 없는 가정, 부적절한 확신, 임상적으로 중요한 누락을 감지합니다.
• 동료 루브릭 비판: 모호성, 중복성, 잘못된 기대, 누락된 기준, 또는 빈약한 채점 설계를 식별합니다.
• 참조 답변 개발: 전문가 예시, 설명, 비판, 그리고 황금 표준 콘텐츠를 작성합니다.
• AI 학습 지원: RL 및 SFT 워크플로를 위한 질문, 루브릭, 평가, 비판, 참조 답변 쌍을 생성합니다.
• 임상 품질 유지: 콘텐츠가 적절한 용어, 전문적 추론, 근거를 인식한 판단을 반영하도록 보장합니다.

자격 요건

• 의학, 치의학, 약학, 간호학 또는 기타 의료 분야의 전문 학위, 면허, 자격, 또는 공인 자격증 보유.
• 영어에 대한 강한 전문적 능력, 최소 C1.
• 3년 이상의 전문 또는 임상 경력; 고위 및 전문가 수준의 전문가를 강력히 선호합니다.
• 명확히 정의된 전문 분야 또는 세부 전문 분야에서 입증된 전문성.
• 진정한 전문성과 미묘한 판단을 요구하는 난이도 높은 임상 또는 전문적 질문을 개발하는 능력.
• 필수 사실, 추론 단계, 유의사항, 허용 가능한 대안, 그리고 치명적 임상 오류를 정의하는 상세한 평가 루브릭을 작성하는 강한 능력.
• 사소한 누락과 임상 품질 또는 안전성에 중대한 영향을 미치는 오류를 구별하는 능력.
• 다른 의료 전문가가 작성한 루브릭을 검토하고 비판하는 데 익숙함.
• AI 출력물의 정확성, 완전성, 추론 품질, 안전성, 보정, 그리고 임상적 관련성을 평가하는 능력.
• 의학교육, 시험 출제, 역량 평가, 임상 지침, 교육, 동료 검토, 또는 품질 보증 경험을 강력히 선호합니다.
• AI 평가, RLHF, SFT, 데이터 주석, 모델 벤치마킹, 또는 루브릭 기반 채점 경험을 선호합니다.
• 신뢰할 수 있고, 자기 주도적이며, 일관된 서면 작업을 수행할 수 있는 능력.