직무 소개
우리는 템플릿을 LLM 자동 평가자(autorater)로 전환하는 엔드투엔드 기술 마이그레이션 워크플로를 담당할 프롬프트 엔지니어를 찾고 있습니다. 이 역할은 클라이언트의 내부 도구를 사용하여 프롬프트 엔지니어링 기법을 활용해 모델 성능을 극대화해야 합니다.
책임:
-
자동 프롬프트 생성(APG) 도구를 활용하여 복잡한 부모-자식 템플릿 클러스터에 대한 기준 프롬프트를 생성합니다.
-
자동 프롬프트 최적화(APO) 도구를 실행하고 감독하며, 출력을 검토하고 APO가 교착 상태나 정체 상태에 도달할 때 표시합니다.
-
복잡한 템플릿 아키텍처를 탐색하고, 안티 패턴을 극복하며, 도구가 부족하거나 고장 난 경우의 엣지 케이스를 처리하기 위해 프롬프트를 수동으로 작성, 테스트, 개선합니다. 수동 프롬프트를 설계하고 개선하여 엣지 케이스 시나리오를 해결합니다.
-
섀도우봇(shadowbot) 실행을 모니터링하여 충분한 불일치(사람과 LLM 평가 간)가 등록, 생성, 추적되도록 합니다.
-
확립된 골드 데이터에 대해 프롬프트 버전을 실행하여 사람 크라우드 기준선 대비 자동 평가자 품질을 지속적으로 측정하고, F1 점수, 정밀도, 재현율과 같은 정확도 지표를 계산합니다.
-
최종을 위한 기술 출시 준비 근거(출시 인증 문서)를 작성합니다.
요구 사항:
-
언어 능력: 일본어 원어민 수준의 유창성 및 영어 유창성.
-
위치: 일본에 거주해야 합니다.
-
학력: 컴퓨터 과학, 데이터 과학, 전산 언어학, 인간-컴퓨터 상호작용(HCI), 인지 과학 또는 관련 분석 분야의 학사, 석사 또는 박사 학위.
-
프롬프트 엔지니어링 및 AI 전문성: 프롬프트 엔지니어로서 최소 4년 경력. 엄격하고 구조화된 출력, 복잡한 분류 작업을 위해 대규모 언어 모델(LLM)을 튜닝한 입증된 경험, 그리고 사고 연쇄(chain-of-thought) 및 퓨샷 학습(few-shot learning)에 대한 친숙함.
-
데이터 분석: 오류 패턴 식별, 모델 성능 분석, SQL 또는 기타 데이터 분석 도구 사용에 능숙.
-
기술적 민첩성: 최소한의 감독으로 독점 도구를 빠르게 학습하고 숙달하는 능력.
-
커뮤니케이션: 뛰어난 구두 및 서면 커뮤니케이션 능력.
선택 / 우대 기술:
-
Goose API와 같은 엔터프라이즈급 LLM 인터페이스에 대한 친숙함.
-
AI 모델 평가, 데이터 과학, 전산 언어학 또는 소프트웨어 엔지니어링 경험.
-
자동 프롬프트 최적화(APO) 시스템 또는 튜닝 워크플로에 대한 실무 경험.
-
의미론과 논리에 대한 이해를 포함한 언어학적 전문성.