この求人について
Turingについて：
Turingは、強力なAIシステムの進歩と展開を加速させている、世界で最も急成長しているAI企業の1つです。
Turingは2つの方法でお客様を支援しています。1つ目は、世界をリードするAIラボと協力して、思考、推論、コーディング、エージェント的な振る舞い、マルチモーダリティ、多言語対応、STEM、最先端の知識といった領域でフロンティアモデルの能力を高めること。2つ目は、その取り組みを活かして、企業にとって最重要の課題を解決する実世界のAIシステムを構築することです。
職務概要：
このポジションは、基盤LLMを手がける企業の1社とのプロジェクトに属します。目標は、これらの基盤LLM企業が大規模言語モデルを強化できるよう支援することです。
私たちがこれらの企業のモデル改善を支援する方法の1つは、高品質な独自データを提供することです。このデータには主に2つの目的があります。1つ目は、モデルのファインチューニングの基礎として、2つ目は、自社モデルや競合他社のモデルの性能をベンチマークするための評価セットとして使用されます。
たとえば、SFTデータの生成では、提供されたコードと質問を含むプロンプトを自分で作成するか、または提供されることがあり、その後、モデルの回答を提供し、質問を解くための対応するPythonコードを書きます。
RLHFデータの生成では、ご自身でプロンプトを作成するか、顧客が提供したプロンプトを使用し、モデルに質問をして、2つのバージョンのLLMが生成した出力を評価する必要があります。これらの出力を比較してフィードバックを提供し、そのフィードバックがモデルのファインチューニングに使用されます。なお、このポジションにはLLMの構築やファインチューニングは含まれませんのでご注意ください。
日々の業務内容：
- AIモデルのトレーニングと最適化のための、効率的で高品質なPythonコードを設計、開発、保守する。
- モデルの性能をベンチマークするための評価（Evals）を実施し、継続的な改善のために結果を分析する。
- Pythonのフレームワークとライブラリへの精通
- さまざまな分野のユーザーからの問い合わせに対するAIモデルの回答を、あらかじめ定められた基準に沿って評価し、ランク付けする。
- 評価について、優れた推論力と技術的専門性を示す、包括的な説明と根拠を作成する。
- 高品質でタスク固有のデータセットの作成・維持を含む、教師ありファインチューニング（SFT）の取り組みを主導する。
- 研究者やアノテーターと協力して、人間のフィードバックによる強化学習（RLHF）を実行し、報酬モデルを改良する。
- モデルがユーザーのニーズや倫理ガイドラインに沿うよう改善するため、革新的な評価戦略とプロセスを設計する。
- 明確さ、関連性、技術的な正確さを重視して、AIの性能を向上させる最適な回答を作成・改良する。
- コードとドキュメントの徹底したピアレビューを行い、建設的なフィードバックを提供し、改善点を特定する。
- 部門横断のチームと協力して、モデルの性能を向上させ、プロダクトの機能強化に貢献する。
- AIトレーニングのプロセスを強化するため、新しいツール、技術、方法論を継続的に探求し、取り入れる。
応募要件：
- Pythonプログラミング言語での豊富な経験が3年以上。
- コードの品質、フォーマット、ソフトウェア開発のベストプラクティスに関する業界経験と知識
- 単体テスト、統合テスト、プロパティベーステストを含む、Pythonのテストエコシステムの経験。
- Pythonにおけるマルチスレッドおよび非同期プログラミングの知識。
- アーキテクチャパターンを扱い、リグレッションを発生させずにコードをリファクタリングできる能力。
- メモリや並行処理の問題の修正を含む、優れたデバッグスキル。
- 英語での会話および文章によるコミュニケーションが流暢であること
Turingでフリーランスとして働く特典：
- 完全リモート環境で働けます。
- 大手LLM企業との最先端AIプロジェクトに携わる機会があります。
募集条件：
- 必要なコミットメント：1日あたり最低4時間、週あたり最低20時間、PSTとの重複時間は4時間。（稼働時間の選択肢は3つあります：週20時間、週30時間、または週40時間）
- 契約形態：業務委託契約（医療補償・有給休暇なし）
- 契約期間：1か月；[開始予定日は来週]
選考プロセス（所要時間は約75分）：
- 2回の面接（技術面接60分 + カルチャーフィット面接とオファーに関する話し合い15分）