この求人について
Turingについて Turingは世界で最も急成長しているAI企業の一つであり、強力なAIシステムの進歩と展開を加速させています。あなたは、LLMが実際のコードとどのように相互作用するかの評価の最前線に立ち、AI支援によるソフトウェア開発の未来に影響を与えることになります。これは、実践的なソフトウェアエンジニアリングとAI研究を融合させるユニークな機会です。
職務について：
AIエージェントのコーディング能力の向上に焦点を当てた最先端AIのトレーニングおよび評価イニシアチブを支援する、経験豊富なソフトウェアエンジニアを募集しています。 この役割では、実世界のソフトウェアエンジニアリングタスク全体にわたってAIが生成したコーディングソリューションをレビューし比較します。エージェントの完全な実行ワークフローを分析し、コードの正確性、効率性、安全性、および全体的な品質を評価し、AI支援によるソフトウェア開発の改善に役立てるため、構造化された評価とエビデンスに基づくフィードバックを提供します。
日々の業務内容：
- 同じ実際の開発者リクエストが与えられた3つのAIコーディングエージェントをレビューします。
- 各エージェントの完全な実行内容を読みます：実行したコマンド、変更したファイル、チェックした内容、そして最終メッセージです。
- その後、どの実行が最も優れた仕事をしたかを判断します。
各タスクについて
- 指示への準拠、コードが機能するか、効率性、安全性、誠実さ、コミュニケーションなど、10の品質領域で各実行を評価します。
- 各実行に1から5の総合スコアを付け、3つを順位付けします。
- 実行からのエビデンスを挙げて、順位付けを説明する短い根拠を書きます。
必須スキル：
- 通算3年以上の経験
- 以下の言語の少なくとも1つに関する強い経験：Python、JavaScript/TypeScript、Java、Go、PHPまたは同様のもの。
- Shellコマンド、Git、Docker、および基本的なソフトウェアパイプラインのセットアップに関する習熟。
- 実世界のプロジェクトをローカルで実行、変更、テストすることに抵抗がないこと。
評価および選考プロセス
- 候補者は選考プロセスの一環として3つの練習評価タスクを完了する必要があります。
- 各評価では、品質評価、総合スコア、比較順位付け、および書面による根拠が必要です。
- レビュアーが各タスクの技術的正確性、一貫性、および推論の品質を評価します。
- 候補者は3つの練習タスクすべてが承認された後にのみオンボーディングされます。
重要 — 厳格なAI禁止ポリシー
- 評価の根拠、説明、または理由を書くためにCHATGPTまたはその他のAIツールを使用しないでください。
- すべての根拠と推論は候補者自身が独自に書かなければなりません。
- 遵守状況が確認されます。AIが生成した根拠または理由の使用は、自動的に不採用となります。
Turingとのフリーランスの特典
- 完全リモート環境で働けます。
- 大手LLM企業と最先端のAIプロジェクトに取り組む機会。
オファーの詳細
- 必要なコミットメント：1日あたり少なくとも8時間、週あたり40時間、およびPSTと4時間の重複。
- 雇用形態：業務委託（医療/有給休暇なし）
- 契約期間：1か月；[開始予定日は来週]
- 支払いモデル：承認されたタスクあたり$25
- 勤務地：インド、パキスタン、ナイジェリア、ケニア、エジプト、ガーナ、バングラデシュ、トルコ、メキシコ、LA
評価プロセス（約75分）：
- 評価に基づくレビュー