この求人について
Turingについて Turingは世界で最も急成長しているAI企業の一つであり、強力なAIシステムの進歩と展開を加速させています。あなたはLLMが実際のコードとどのようにやり取りするかの評価の最前線に立ち、AI支援によるソフトウェア開発の未来に影響を与えることになります。これは、実践的なソフトウェアエンジニアリングとAI研究を融合させるユニークな機会です。
職務について:
私たちは、AIエージェントのコーディング能力向上に焦点を当てた最先端AIのトレーニングおよび評価イニシアチブを支援する、経験豊富なソフトウェアエンジニアを募集しています。 この役割では、実世界のソフトウェアエンジニアリングタスク全体にわたって、AIが生成したコーディングソリューションをレビューし比較します。エージェントの完全な実行ワークフローを分析し、コードの正確性、効率性、安全性、および全体的な品質を評価し、AI支援によるソフトウェア開発の改善に役立つ構造化された評価と証拠に基づくフィードバックを提供します。
日々の業務の例:
- 同じ実際の開発者リクエストがそれぞれ与えられた3つのAIコーディングエージェントをレビューします。
- 各エージェントの完全な実行内容（実行したコマンド、変更したファイル、確認した内容、最終メッセージ）を読みます。
- その後、どの実行が最も良い仕事をしたかを判断します。
各タスクについて
- 指示への準拠、コードが機能するか、効率性、安全性、誠実さ、コミュニケーションなど、10の品質領域で各実行を評価します。
- 各実行に1から5の総合スコアを付け、3つを順位付けします。
- 実行からの証拠を挙げて、順位付けを説明する短い根拠を書きます。
必要なスキル:
- 通算3年以上の経験
- 以下の言語の少なくとも1つに関する強い経験: Python、JavaScript/TypeScript、Java、Go、PHPまたは類似の言語。
- Shellコマンド、Git、Docker、および基本的なソフトウェアパイプラインのセットアップに習熟していること。
- 実世界のプロジェクトをローカルで実行、変更、テストすることに抵抗がないこと。
評価・選考プロセス
- 候補者は選考プロセスの一環として、3つの練習評価タスクを完了する必要があります。
- 各評価では、品質評価、総合スコア、比較順位、および書面による根拠が必要です。
- レビュー担当者が各タスクの技術的正確性、一貫性、および推論の品質を評価します。
- 3つの練習タスクすべてが承認された後にのみ、候補者はオンボーディングされます。
重要 — 厳格なAI禁止ポリシー
- 評価の根拠、説明、または理由を書くためにCHATGPTまたはその他のAIツールを使用しないでください。
- すべての根拠と推論は候補者自身が独立して書く必要があります。
- 遵守状況は確認されます。AIが生成した根拠や理由を使用した場合は、自動的に不採用となります。
Turingでのフリーランスの特典
- 完全リモート環境で働けます。
- 大手LLM企業とともに最先端のAIプロジェクトに携わる機会。
オファー詳細
- 必要なコミットメント: 1日最低8時間、週最低40時間、PSTとの重複4時間。
- 雇用形態: 業務委託契約（医療/有給休暇なし）
- 契約期間: 1か月；[開始予定日は来週]
- 支払いモデル: 承認されたタスクごとに25ドル
- 勤務地: インド、パキスタン、ナイジェリア、ケニア、エジプト、ガーナ、バングラデシュ、トルコ、メキシコ、LA
評価プロセス（約75分）:
- アセスメントに基づくレビュー