この求人について
当社は、テンプレートをLLMオートレーターへ移行するためのエンドツーエンドの技術的移行ワークフローを担当するプロンプトエンジニアを募集しています。この役割では、クライアントの社内ツールを使用し、プロンプトエンジニアリング手法を活用してモデルのパフォーマンスを最大化する必要があります。
職務内容：
-
Automatic Prompt Generation（APG）ツールを活用し、複雑な親子テンプレートクラスターのベースラインプロンプトを作成する。
-
Automated Prompt Optimization（APO）ツールを実行・監督し、出力をレビューし、APOがデッドロックやプラトーに達した場合にフラグを立てる。
-
複雑なテンプレートアーキテクチャに対応し、アンチパターンを克服し、ツールが不足している、または壊れているエッジケースを処理するために、手動でプロンプトを作成、テスト、改善する。手動プロンプトを設計・改善してエッジケースのシナリオを解決する。
-
shadowbotの実行を監視し、十分な不一致（人間とLLMの評価間）が登録、生成、追跡されることを確認する。
-
確立されたゴールドデータに対してプロンプトバージョンを実行し、人間のクラウドベースラインに対するオートレーターの品質を継続的に測定し、F1スコア、適合率、再現率などの精度指標を計算する。
-
最終版向けの技術的ローンチ準備の正当性（Launch Certification Documentation）を作成する。
要件：
-
言語スキル：ドイツ語のネイティブレベルの流暢さ、および英語の流暢さ。
-
勤務地：ドイツに居住していること。
-
学歴：コンピュータサイエンス、データサイエンス、計算言語学、ヒューマンコンピュータインタラクション（HCI）、認知科学、または関連する分析分野における学士号、修士号、または博士号。
-
プロンプトエンジニアリング＆AIの専門性：プロンプトエンジニアとして少なくとも4年の経験。厳格で構造化された出力、複雑な分類タスクのために大規模言語モデル（LLM）をチューニングした確かな経験、およびチェーン・オブ・ソートと少数ショット学習に関する知識。
-
データ分析：エラーパターンの特定、モデルパフォーマンスの分析、およびSQLやその他のデータ分析ツールの使用に関する高い熟練度。
-
技術的機敏性：最小限の監督で独自ツールを迅速に学習し習得する能力。
-
コミュニケーション：優れた口頭および書面によるコミュニケーションスキル。
任意／歓迎スキル：
-
Goose APIなどのエンタープライズグレードのLLMインターフェースに関する知識。
-
AIモデル評価、データサイエンス、計算言語学、またはソフトウェアエンジニアリングにおける経験。
-
Automated Prompt Optimization（APO）システムまたはチューニングワークフローに関する実務経験。
-
意味論や論理の理解を含む言語学の専門知識。