직무 소개
당사는 템플릿을 LLM 자동 평가자(autorater)로 전환하는 엔드투엔드 기술 마이그레이션 워크플로를 담당할 프롬프트 엔지니어를 찾고 있습니다. 이 역할은 고객사의 내부 도구를 사용하여 프롬프트 엔지니어링 기법을 활용해 모델 성능을 극대화해야 합니다.
책임:
-
자동 프롬프트 생성(APG) 도구를 활용하여 복잡한 부모-자식 템플릿 클러스터에 대한 기준 프롬프트를 생성합니다.
-
자동 프롬프트 최적화(APO) 도구를 실행하고 감독하며, 출력을 검토하고 APO가 교착 상태나 정체 상태에 도달하면 플래그를 지정합니다.
-
복잡한 템플릿 아키텍처를 탐색하고, 안티패턴을 극복하며, 도구가 부족하거나 작동하지 않는 엣지 케이스를 처리하기 위해 수동으로 프롬프트를 작성, 테스트, 개선합니다. 수동 프롬프트를 설계하고 개선하여 엣지 케이스 시나리오를 해결합니다.
-
섀도우봇(shadowbot) 실행을 모니터링하여 충분한 불일치(인간과 LLM 평가 간)가 등록, 생성, 추적되도록 합니다.
-
확립된 골드 데이터에 대해 프롬프트 버전을 실행하여 인간 크라우드 기준선 대비 자동 평가자 품질을 지속적으로 측정하고, F1 점수, 정밀도, 재현율 등의 정확도 지표를 계산합니다.
-
최종을 위한 기술적 출시 준비 근거(출시 인증 문서)를 작성합니다.
요구 사항:
-
언어 능력: 네덜란드어 원어민 수준 및 영어 유창함.
-
위치: 네덜란드에 거주해야 합니다.
-
학력: 컴퓨터 과학, 데이터 과학, 계산언어학, 인간-컴퓨터 상호작용(HCI), 인지과학 또는 관련 분석 분야의 학사, 석사 또는 박사 학위.
-
프롬프트 엔지니어링 및 AI 전문성: 프롬프트 엔지니어로서 최소 4년 경력. 엄격하고 구조화된 출력, 복잡한 분류 작업을 위해 대규모 언어 모델(LLM)을 튜닝한 검증된 경험 및 사고 연쇄(chain-of-thought)와 소수 샷 학습(few-shot learning)에 대한 친숙함.
-
데이터 분석: 오류 패턴을 식별하고, 모델 성능을 분석하며, SQL 또는 기타 데이터 분석 도구를 사용하는 강력한 능력.
-
기술적 민첩성: 최소한의 감독으로 독점 도구를 빠르게 학습하고 숙달하는 능력.
-
커뮤니케이션: 뛰어난 구두 및 서면 커뮤니케이션 능력.
선택 사항 / 우대 역량:
-
Goose API와 같은 엔터프라이즈급 LLM 인터페이스에 대한 친숙함.
-
AI 모델 평가, 데이터 과학, 계산언어학 또는 소프트웨어 엔지니어링 경험.
-
자동 프롬프트 최적화(APO) 시스템 또는 튜닝 워크플로에 대한 실무 경험.
-
의미론과 논리에 대한 이해를 포함한 언어학적 전문성.