この求人について
Turingについて
Turingは、世界で最も急成長しているAI企業の1つであり、強力なAIシステムの進歩と展開を加速させています。Turingは、高品質な人間によるフィードバック、評価、トレーニングデータを通じて、大手AIラボが大規模言語モデル（LLM）の推論、問題解決、意思決定の能力を向上させる支援をしています。
役割の概要
最先端AIモデルのコーディング能力の評価、ベンチマーク、改善を支援する、経験豊富なソフトウェアエンジニアを募集しています。この役割では、AIが生成したコードを評価し、実世界のソフトウェアエンジニアリングタスクに照らしてソリューションを検証し、正確性や品質の問題を特定するとともに、高品質な評価データセットやベンチマークの開発に貢献していただきます。
このポジションは、コードレビュー、デバッグ、問題解決を楽しみ、複雑な技術的シナリオに対して確かなソフトウェアエンジニアリングの判断力を発揮したいエンジニアに最適です。あなたの仕事は、高度なAIコーディングシステムの性能の測定と向上に直接貢献します。
日々の業務内容は？
- AIが生成したコードを、正確性、効率性、保守性、要件への適合性の観点からレビュー・評価する。
- ソフトウェアエンジニアリングのタスクを分析し、提案されたソリューションが期待される成果を満たしているかを検証する。
- さまざまなプログラミング環境でコードをデバッグし、問題を再現し、修正を検証する。
- モデルが生成した説明、推論、実装アプローチの技術的な正確性を評価する。
- コーディングタスク向けの評価データセット、ベンチマーク、採点ルーブリックを作成、改良、維持する。
- エッジケース、失敗モード、およびAIシステムがソフトウェアエンジニアリングの問題で苦戦する領域を特定する。
- 調査結果を明確に文書化し、評価の質と一貫性を高めるための構造化されたフィードバックを提供する。
- プロジェクトチームと協力して、品質基準と評価手法を確立する。
要件
- コンピュータサイエンス、ソフトウェアエンジニアリング、または関連する技術分野の学士号または修士号。
- ソフトウェアエンジニアとしての実務経験が3年以上。
- 次の言語のうち1つ以上に高い習熟度があること：Python、Java、C/C++、Go、Swift、Objective-C、PHP、SQL。
- データ構造、アルゴリズム、ソフトウェア設計原則、デバッグ手法への深い理解。
- 本番環境または大規模なコードベースでのコードレビューやコード品質の評価の経験。
- 最小限の監督のもとで、複雑な技術的課題を分析し、ソリューションの正確性を評価できる能力。
- バージョン管理システム（例：Git）や現代的なソフトウェア開発ワークフローへの精通。
- 優れた文章によるコミュニケーション能力と細部への注意力。
- AI/MLのデータアノテーション、NLP、プロンプトエンジニアリング、モデル評価、またはLLM関連プロジェクトの経験があれば歓迎。
- AI生成コードの評価、ベンチマーク作成、またはソフトウェア品質評価の経験があれば強く歓迎。
Turingでフリーランスとして働く特典
- 完全リモート環境で働けます。
- 大手LLM企業と、最先端のAIプロジェクトに取り組む機会があります。
オファー内容
- 必要な稼働時間：1日あたり最低4時間、週あたり最低20時間で、PSTとの重複時間は4時間。
- 契約形態 ：業務委託契約（医療給付・有給休暇なし）
- 契約期間 ：1か月；[開始予定日は来週]
- 勤務地：米国のみ
選考プロセス
- PythonおよびDockerテスト（RHLF）のためのオンライン自動コーディングチャレンジ