직무 소개
당사는 템플릿을 LLM 자동 평가자로 전환하기 위한 엔드투엔드 기술 마이그레이션 워크플로를 담당할 프롬프트 엔지니어를 찾고 있습니다. 이 역할은 클라이언트의 내부 도구를 사용하여 프롬프트 엔지니어링 기법을 활용해 모델 성능을 극대화해야 합니다.
책임:
-
자동 프롬프트 생성(APG) 도구를 활용하여 복잡한 부모-자식 템플릿 클러스터에 대한 기준 프롬프트를 생성합니다.
-
자동 프롬프트 최적화(APO) 도구를 실행 및 감독하고, 출력을 검토하며, APO가 교착 상태나 정체 상태에 도달할 때 이를 표시합니다.
-
복잡한 템플릿 아키텍처를 탐색하고, 안티패턴을 극복하며, 도구가 부족하거나 고장 난 경우의 엣지 케이스를 처리하기 위해 프롬프트를 수동으로 작성, 테스트 및 개선합니다. 수동 프롬프트를 설계하고 개선하여 엣지 케이스 시나리오를 해결합니다.
-
섀도우봇 실행을 모니터링하여 충분한 불일치(인간과 LLM 평가 간)가 등록, 생성 및 추적되는지 확인합니다.
-
확립된 골드 데이터에 대해 프롬프트 버전을 실행하여 인간 크라우드 기준선 대비 자동 평가자 품질을 지속적으로 측정하고, F1 점수, 정밀도, 재현율 등의 정확도 지표를 계산합니다.
-
최종을 위한 기술 출시 준비 근거(출시 인증 문서)를 작성합니다.
요건:
-
언어 능력: 이탈리아어 원어민 수준 및 영어 유창함.
-
위치: 이탈리아에 거주해야 합니다.
-
학력: 컴퓨터 과학, 데이터 과학, 전산 언어학, 인간-컴퓨터 상호작용(HCI), 인지 과학 또는 관련 분석 분야의 학사, 석사 또는 박사 학위.
-
프롬프트 엔지니어링 및 AI 전문성: 프롬프트 엔지니어로 최소 4년 경력. 엄격하고 구조화된 출력, 복잡한 분류 작업을 위한 대규모 언어 모델(LLM) 튜닝 경험과 사고 연쇄(chain-of-thought) 및 퓨샷 학습(few-shot learning)에 대한 친숙함.
-
데이터 분석: 오류 패턴 식별, 모델 성능 분석, SQL 또는 기타 데이터 분석 도구 사용에 능숙.
-
기술적 민첩성: 최소한의 감독으로 독점 도구를 빠르게 학습하고 숙달하는 능력.
-
의사소통: 뛰어난 구두 및 서면 의사소통 능력.
선택 / 우대 역량:
-
Goose API와 같은 엔터프라이즈급 LLM 인터페이스에 대한 친숙함.
-
AI 모델 평가, 데이터 과학, 전산 언어학 또는 소프트웨어 엔지니어링 경험.
-
자동 프롬프트 최적화(APO) 시스템 또는 튜닝 워크플로에 대한 실무 경험.
-
의미론과 논리를 포함한 언어학적 전문성.