직무 소개
이 시간제 원격 계약직 역할에서, 귀하는 Red-Teaming Quality Assurance Lead(QAL)로서 AI 레드팀 및 안전 평가 프로젝트 전반의 품질, 일관성, 트레이너 성과를 감독하게 됩니다. 귀하는 AI가 생성한 안전 평가, 적대적 프롬프트, 위험 분석, 트레이너/QA 작업을 검토하고, 프로젝트 지침에 따라 출력 품질을 평가하며, 정확한 서면 피드백을 제공하고, 모든 기여자가 기대되는 품질 기준을 따르도록 보장하게 됩니다.
귀하는 위험 식별, 적대적 추론, 정책 인식, 안전 분류 체계 정합성, 프롬프트 품질, 시나리오 현실성, 취약점 커버리지, 명확성, 형식, 지시 준수, 프로젝트별 루브릭 준수에 대해 작업을 평가하게 됩니다. 귀하는 반복되는 품질 문제를 포착하고, 트레이너와 QA에게 업데이트를 전달하며, 온보딩을 지원하고, 문서를 유지하며, 일관되게 작업하지 않는 기여자의 활성화를 돕게 됩니다. 이 역할은 강력한 AI 안전/레드팀 판단력, 강력한 영어 의사소통 능력, 뛰어난 세부 사항 주의력, 구조화된 의사소통, 그리고 원격 전문가 팀 전반의 품질 워크플로를 관리하는 능력을 요구합니다.
이 역할은 빠르게 성장하는 AI 데이터 서비스 회사이자 SuperAnnotate의 자회사인 SME Careers에 소속되어 있으며, 세계 최대 AI 기업 및 파운데이션 모델 연구소 다수를 위해 학습 데이터를 제공합니다. 귀하의 레드팀 품질 리더십은 안전 학습 데이터가 현실적이고, 미묘한 차이를 반영하며, 정책과 정합하고, 잘 문서화되어 있으며, 모델 취약점 식별에 유용하도록 보장함으로써 세계 최고의 AI 모델 개선에 직접 기여하게 됩니다.
선발 과정은 AI 인터뷰, 도메인별 과제, 그리고 리크루터와의 인터뷰로 구성됩니다.
중요: 이 역할에 대한 즉시 프로젝트는 없습니다. 다만, 자격을 갖춘 경우 관련 기회가 생길 때 가장 먼저 연락드리는 전문가 중 한 명이 되실 것입니다. 이는 또한 당사 전문가 네트워크를 통해 이용 가능한 향후 프로젝트에 대한 접근 권한을 제공할 것입니다.
수행할 업무
- 품질 모니터링: 레드팀 항목을 표본 점검하고, 품질 문제를 식별하며, DM을 통해 지속적인 피드백을 제공하고, 반복되거나 중대한 문제를 에스컬레이션합니다.
- 안전 및 레드팀 검토: 적대적 프롬프트, 모델 응답, 위험 분류, 안전 분석, 정책 설명, 취약점 보고서를 정확성, 현실성, 유용성 측면에서 평가합니다.
- 트레이너 및 QA 의사소통: Discord를 통해 트레이너와 QA에게 새 항목 지침, 프로젝트 변경 사항, 워크플로 업데이트, 품질 기대치, 레드팀 특화 검토 기준을 전달합니다.
- 질문 처리: 특히 위험 범주, 적대적 전략, 정책 경계, 엣지 케이스, 심각도, 루브릭 해석과 관련하여 트레이너/QA의 질문에 명확하고 신속하게 응답합니다.
- 트레이너/QA 활성화 관리: 비활성 상태이거나 작업하지 않는 기여자에게 DM을 보내고, 활성화를 독려하며, 후속 조치를 추적하고, 필요 시 가용성 문제를 표시합니다.
- 문서화: 스타일 가이드, 트래커, FAQ, 품질 노트, 예시, 허니팟, 캘리브레이션 과제, 온보딩 자료를 포함한 레드팀 프로젝트 문서를 작성하고 유지합니다.
- 온보딩 및 교육: 트레이너 및 QA와 온보딩/교육 통화를 예약하고 진행하여 프로젝트 기대치, 워크플로, 루브릭, 품질 기준, 레드팀 특화 검토 요건을 설명합니다.
- 품질 정합성: 모든 트레이너와 QA가 레드팀 및 안전 검토 지침을 일관되게 적용하고 프로젝트가 발전함에 따라 업데이트를 이해하도록 보장합니다.
- 위험 검토: 안전하지 않거나, 품질이 낮거나, 비현실적이거나, 정책과 일관되지 않거나, 문서화가 불충분한 레드팀 항목을 표시합니다.
- 프로세스 개선: 반복되는 품질 격차를 식별하고, 워크플로 개선을 제안하며, AI 레드팀 프로젝트를 위한 확장 가능한 QA 프로세스 구축을 돕습니다.
우리가 찾는 인재
- 컴퓨터 과학, 사이버보안, AI 안전, 신뢰 및 안전, 공공 정책, 심리학, 언어학, 법학, 안보 연구, 위험 분석 또는 관련 분야의 학사, 석사 또는 전문 경력.
- 프로젝트 지침을 따르고, 팀과 소통하며, 명확한 서면 피드백을 제공할 수 있는 강력한 영어 능력.
- AI 안전, 레드팀, 사이버보안, 신뢰 및 안전, 콘텐츠 정책, 위험 분석, 적대적 테스트, 모델 평가, 콘텐츠 조정 또는 관련 워크플로에서 3년 이상의 경력.
- AI 위험 범주, 적대적 프롬프팅, 탈옥 패턴, 유해 콘텐츠 분류 체계, 오용 시나리오, 정책 해석, 모델 행동, 안전 평가 원칙에 대한 강한 이해.
- 상세한 루브릭에 따라 레드팀 콘텐츠를 평가하고 약한 적대적 설계, 비현실적 시나리오, 부실한 위험 분류, 정책 오해, 안전하지 않은 출력, 피상적 취약점 테스트 등의 문제를 식별하는 능력.
- 프롬프트 인젝션, 사회공학, 사이버보안 악용, 사기, 자해 안전, 극단주의 콘텐츠, 허위정보, 프라이버시 위험, 불법 행위, 편향, 모델 거부 행동과 같은 영역에 대한 친숙함이 선호됩니다.
- 레드팀어, 검토자, 정책 분석가, 어노테이터, 연구자 또는 QA로 구성된 원격 팀을 이끌거나 지원한 경력이 강력히 선호됩니다.
- Discord, Google Sheets, Google Docs, 트래커, 대시보드, 프로젝트 관리 시스템과 같은 도구를 사용하여 빠르게 움직이는 원격 환경에서 편안하게 작업할 수 있음.
- 스타일 가이드, FAQ, 트래커, 온보딩 자료, 캘리브레이션 과제, 문서를 유지할 수 있는 뛰어난 세부 사항 지향성과 조직력.
- AI 학습, LLM 평가, 안전 평가, 콘텐츠 조정 QA, 정책 QA 또는 루브릭 기반 검토 경험이 있으면 강력한 우대 사항입니다.