职位描述
RapidAI – 数据基础设施工程总监
Key Responsibilities:
- Design and implement scalable, reliable, and efficient data infrastructure solutions to support the organization’s data processing, storage, and analytics needs.
- 设计和实施可扩展、可靠和高效的数据基础设施解决方案，以支持组织的数据处理、存储和分析需求。
- 与数据工程师、软件工程师和数据科学家合作，了解数据需求并将其转化为技术规范和架构设计。
- 开发和维护数据管道，用于从各种来源摄取、处理和转换大量数据，确保数据质量和完整性。
- 优化数据存储和检索流程，包括数据库模式设计、索引策略和查询优化，以提高性能并减少延迟。
- 实施监控、警报和日志记录机制，主动识别数据基础架构中的问题并排除故障，确保高可用性和可靠性。
- 随时了解数据工程和基础架构管理方面的新兴技术、工具和最佳实践的最新情况，并在适当的时候建议采用这些技术、工具和最佳实践。
- 与利益相关者密切合作，了解业务需求和优先事项。
offer要求 [offer requirements]
任职资格：
- 计算机科学、工程或相关专业的学士或硕士学位。
- 12-15 年的总体工作经验，其中至少有 5 年以上的数据工程或基础设施工作经验，重点是设计和构建可扩展的数据平台。
- 熟练掌握 Python、Java 或 Scala 等编程语言，并具有 Apache Spark、Snowflake、Apache Flink 或 Hadoop 等数据处理框架的使用经验。
- 对分布式系统、云计算平台（如 AWS、GCP、Azure）有深入了解。
- 对分布式系统、云计算平台（如 AWS、GCP、Azure）和容器化技术（如 Docker、Kubernetes）有深入了解。
- 具有使用 Apache Airflow、Luigi 或 Prefect 等数据管道协调工具的实际经验。
- 出色的问题解决技能以及在分布式环境中排除复杂问题的能力。
- 具有敏捷方法和 DevOps 实践经验者优先。
offer福利 [offer benefits]