《数据采集工程师岗位职责（30篇）》

数据采集工程师岗位职责（精选30篇）

数据采集工程师岗位职责 篇1

任职要求：

1、软件、计算机、通讯等理工科相关专业本科及以上学历；

2、具有3年配置管理或产品数据管理经验；

3、熟悉计算机与网络管理；

4、熟悉配置管理与产品数据管理知识，熟练掌握svn、plm等数据管理平台的`操作与管理；

5、熟悉系统与信息安全知识；

6、具有较强的逻辑思维能力及良好的沟通能力，良好的主动学习能力及执行力。

数据采集工程师岗位职责 篇2

1、熟悉掌握业务系统功能，灵活制定不同业务的推广策略，通过活动运营、内容运营等方式策划并落地项目推广方案，拓展系统用户量及影响力。

2、熟悉公文写作，配合完成工作汇报材料的撰写及分析报告。

3、与企业及海关关系的协调和维护，强化合作关系，维护好项目参与方的'关系。

4、面向进出口企业开展调研，主动挖掘系统需求，进行需求分析，形成调研报告或业务需求报告。

5、项目管理相关工作，包括组织业务需求论证、项目立项、进度管理等根据项目管理规范开展相关工作。

6、完成领导交办的其他工作事项。

数据采集工程师岗位职责 篇3

数据处理工程师（大数据项目）全成通信上海全成通信技术有限公司，全成通信，全成岗位职责：

1、负责大数据平台的日常维护和监控

2、负责大数据项目日报发布工作

3、负责日报数据的统计

4、负责大数据项目日常数据的计算、分析和维护

任职要求：

1、一年以上相关工作经验，有电信行业经验者优先

2、熟悉linux和excel，熟练使用perl或者其他的'脚本语言

3、具有oracledll/dml技术的使用经验

4、具有良好的团队合作精神，有较强的学习能力、适应能力、沟通能力

数据采集工程师岗位职责 篇4

1.嵌入式bootloader，kernel开发；

2.工业通讯协议解析等；

3.windows/linux平台网关应用层程序开发；

4.网关产品的软件功能测试验证；

5.工业网关产品软件sdk及library开发。

数据采集工程师岗位职责 篇5

1、学习并理解励步云学业务及系统，根据业务部门需求对公司各项业务数据进行统计分析，出具相关报表；

2、进行数据仓库设计、模型开发、数据质量校验，报表开发；

3、进行数据差异分析，找出统计口径、数据错误、操作错误等造成的差异原因；

4、进行数据查询优化，解决跑数性能问题。

数据采集工程师岗位职责 篇6

1、对海量业务数据进行分析，并利用算法挖掘用户行为特征，发现潜在规律，建立机器学习算法并优化;

2、利用数据挖掘技术分析、预测用户的消费行为;

3、建立各种业务逻辑模型和数学模型，帮助公司改善运营管理，节省成本。

任职要求：

1、大学本科及以上学历;

2、统计学、会计学、数学、物理等相关专业;

3、本科5年以上同岗位工作经验，研究生3年以上同岗位工作经验;

4、对统计学和数据挖掘算法原理有较为深刻的理解，了解数据仓库思想，熟悉SPSS、SAS、R、MAHOUT等数据挖掘软件之一;

5、熟悉决策树、聚类、逻辑回归，关联分析、SVM，贝叶斯等数据挖掘算法，有海量数据挖掘的项目经验;

6、有用户行为分析、用户建模、业务建模、数学建模经验优先;

7、良好的逻辑分析能力、分析问题和解决问题的`能力，对数据敏感，良好的沟通能力。

数据采集工程师岗位职责 篇7

•在行业担任数据工程师或后端工程师超过4年

•您将了解数据仓库的概念(建模，调整，维护)

•您非常精通SQL，并渴望指导和教其他SQL

•您精通Python或任何其他脚本语言和软件开发

•您在分布式数据处理/传统RDBMS / MPP / NoSQL系统和数据建模方面有很强的低估/经验

•您在Spark / Kafka / HBase / Redis / Kettle方面拥有丰富的经验

•您受到探索数据的好奇心和动力的驱动

•您具有处理数据管道的DevOps问题的经验

•对数据驱动业务，关键思想家，问题解决者和自我启动者的热情

•获得认可大学的相关学科的学士学位

数据采集工程师岗位职责 篇8

1.负责数据分析,数据挖掘相关的算法、应用的设计与开发;

2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告，重点对车辆行为数据进行分析和挖掘，利用数据分析结论推动业务产品的优化;

3.对海量业务数据进行整合、分析挖掘，挖掘产品以及用户潜在信息，为营销、运营及决策提供业务分析及数据支持。

数据采集工程师岗位职责 篇9

工作职责：

1、运用数据挖掘和机器学习方法和技术，深入挖掘和分析海量商业数据

2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等

3、运用数据挖掘/统计学习的理论和方法，深入挖掘和分析用户行为，建设用户画像

4、从系统应用的角度，利用数据挖掘/统计学习的理论和方法解决实际问题

任职要求

—计算机、数学，统计学或人工智能等相关专业硕士以上学历，5—10年以上或相关工作经历

—精通1—2种编程语言（Python或Java），熟练掌握常用数据结构和算法，具备比较强的'实战开发能力，能带领团队共同进步。

—具有统计或数据挖掘背景，并对机器学习算法和理论有较深入的研究

—熟悉数据挖掘相关算法（决策树、SVM、聚类、逻辑回归、贝叶斯）

—具有良好的学习能力、时间和流程意识、沟通能力

—熟悉Spark或hadoop生态分布式计算框架

—优秀的沟通能力，有创新精神，乐于接受挑战，能承受工作压力

—有互联网，央企，政务，金融等领域大规模数据挖掘经验者优先

数据采集工程师岗位职责 篇10

1.负责linux平台下应用软件开发，根据产品与项目要求，开展模块设计.编码等工作；

2.负责linux软件的交叉编译与移植；

3.参与需求分析.软件设计.开发.调试以及测试维护全过程；

4.负责协同硬件工程师或第三方方案商完成系统功能模块的联调及功能对接.接口文文件输出；

5.负责嵌入式系统软件平台搭建工作；

数据采集工程师岗位职责 篇11

1、负责产品数据库研发，参与系统整体架构设计；

2、根据产品目标负责相关业务的数据分析、建模、设计评审，跟进产品过程中数据库设计；

3、负责产品模块的数据层分析、设计、编码、测试；

4、能够独立完成产品数据层开发任务，负责各类数据接口开发；

5、负责各类型数据操作处理和兼容问题；数据库复杂SQL开发和调优。

数据采集工程师岗位职责 篇12

岗位职责:

1.从事数学建模及数据挖掘应用方法研究;

2.与开发部门配合实现相应的数据分析模块的开发;

3.制定公司数据可管理体系,建产研究用数据平台。

任职要求:

1.应用数学、统计学、计算机等专业硕士以上学历;

2.具备常用机器学习、数据挖掘相关知识,会spark;

3.具备一种或多种开发语言(如scalapython java等)的.程序和算法开发能力,掌握常用数据结构和算法;

4.有视频、地图、文本、社交等大数据分析能力;

5.有工业数据分析工作经验者优先。

数据采集工程师岗位职责 篇13

岗位职责：

深入研究业内领先的技术思路，输出具有创新价值的预研项目可行性分析报告以及相关实验数据;

负责产品、销售、供应链、电商等公司数据的海量挖掘，并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;

负责大数据下传统机器学习算法的并行化实现及应用，并提出改进方法和思路;

参与公司大数据架构，负责BI实施中的数据挖掘模块算法研究、模型建立和优化，帮助实现数据挖掘和分析平台的建设;

负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控，通过数据挖掘结果驱动业务执行;

配合技术进行数据挖掘模型开发和模型封装，例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;

任职要求：

大学本科及以上学历，统计学、计算机、信息技术、数学相关专业;

两年以上数据建模经验;

数据主流数据库，mysql、oracle、DB2等传统结构化数据仓库，熟悉HBase、MongoDB等非结构化数据库;

熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;

熟悉R、Python、MLlib等数据挖掘工具中至少一种。

熟悉spark、storm等大数据计算框架者优先。

数据采集工程师岗位职责 篇14

1.从事GIS数据制作、分析、数据管理等工作;

2.编写工作总结和作业流程等文件;

3.通过已经完成的矢量化成果和表格数据库入库和检查工作;

4.利用软件对图形和属性进行检查，并进行错误修改;

5.其他数据制作处理工作。

数据采集工程师岗位职责 篇15

1.负责公司产品的现场安装，部署，优化;

2.负责数据库集群的部署和配置升级;

3.定期进行性能检测、分析、调优，数据备份、迁移，保障数据库系统高效安全及稳定运行;

4.负责排查数据库故障，分析和解决疑难问题，提出预防方案。数据库故障处理与灾难恢复;

5.对开发工程师的SQL语句进行审核，SQL优化，及时发现并处理高负载SQL;

6.负责客户单位软件系统的管理和日常维护，;

数据采集工程师岗位职责 篇16

1、负责数据接入、数据提取、数据清洗、底层重构、业务主题建模等工作;

2、参与数据集市开发，用户画像标签开发;

3、负责接口平台、自助分析平台等系统的建设和维护;

4、针对具体大数据应用场景，提供有效解决方案，并针对具体模型落地实施;

数据采集工程师岗位职责 篇17

岗位职责：

1.按产品功能需求说明，设计相应数据库业务逻辑及规则，并完成脚本封装。

2.根据产品适配计划，进行新适配数据库的预研。

3.根据业务需求，提供数据库元数据创建语句。

4.协助产品内容、数据库知识体系、业务算法模型等研发。

技能要求：

1.熟悉Oracle、SQL Server、MySQL数据库架构及原理，并有实际运维经验。

2.熟悉MySQL、PostgreSQL和MongoDB等开源数据库架构及原理，并有实际运维经验。

3.熟悉RDS for MySQL、PostgreSQL等云数据库架构及原理，并有实际运维经验。

4.熟悉达梦、人大金仓、南大通用、神州通用、高斯、热璞、巨杉等国产数据库架构及原理，并有实际运维经验。

5.熟悉PolarDB、OceanBase、Tidb等数据库架构及原理，并有实际运维经验。

6.深刻理解数据库原理及架构，有二线dba经验者优先。

7.熟悉Unix、Linux、Windows等操作系统架构及原理，并能熟练使用。

8.熟悉主流自动化运维、监控产品，有实际开发及使用经验的优先。

9.熟练使用shells、Python等脚本语言。

10.熟悉脚本开发规范，具有数据库开发背景的`优先。

11.深入理解数据库的数据字典，并熟悉对象定义，有自定义对象开发经验的优先。

12.善于沟通，皮实，良好的学习能力。

13.本科(含)以上学历，计算机或相关专业的优先。

数据采集工程师岗位职责 篇18

1、负责每日的数据仓库运维工作，保障数据的稳定性、一致性等;

2、参与数据仓库的优化设计，如元数据、数据权限、调度优化;

3、负责数据质量和数据标准化的设计与开发;

4、负责满足业务部门的日常业务提数与报表需求的开发。

数据采集工程师岗位职责 篇19

1、3年以上etl开发经验，熟悉etl开发规范和流程；

2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个，有开发、维护经验；

3、熟练编写存储过程，擅长sql优化；

4、熟悉oracle、sqlserver等常用数据库中的`一个或多个；

5、熟悉perl、shell脚本，linux操作系统；

6、有大型数据仓库、bi相关项目的开发经验，精通架构、建模者优先；

7、熟练使用erwin或powerdesigner等进行数据建模；

8、以下经验优先考虑：流式处理、日志处理、数据仓库全日制本科以上学历（985/211），计算机科学与技术/软件工程/数据相关专业

1、3年以上etl开发经验，熟悉etl开发规范和流程；

2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个，有开发、维护经验；

3、熟练编写存储过程，擅长sql优化；

4、熟悉oracle、sqlserver等常用数据库中的一个或多个；

5、熟悉perl、shell脚本，linux操作系统；

6、有大型数据仓库、bi相关项目的开发经验，精通架构、建模者优先；

7、熟练使用erwin或powerdesigner等进行数据建模；

8、以下经验优先考虑：流式处理、日志处理、数据仓库

数据采集工程师岗位职责 篇20

1.数据采集系统和分布式爬虫系统的架构设计和开发

2.对接外部数据服务商提供的数据及资讯服务，实现数据的'有效沉淀，建立数据服务评估机制

3.负责大规模文本、图像、视频数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作

4.研究各种目标网站的形态，互联网特征挖掘，发现它们的特点和规律

数据采集工程师岗位职责 篇21

1、负责应用平台维护，保证其有效运行;

2、负责业务数据的挖掘、整合以及分析模型的建立、优化和评估;为业务人员日常工作提供可靠而明确的数据支撑;

3、负责报表相关功能的设计、开发工作，并负责报表优化、维护、数据采集;

4、负责系统相关文档的制定和编写。

5、有实际的MY SQL或Oracle等数据库开发相关工作经历，具有高级工程师技术能力;

6、有良好的沟通协调能力，能与客户及项目组同事有效的沟通;

7、能够独立分析客户需求，并能针对客户需求编写需求分析、设计等技术方案;

8、热爱软件事业，具有较强的责任感,有快速掌握新技术和独立解决技术问题的能力;

数据采集工程师岗位职责 篇22

1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发，创建数据仓库、数据集市

2.熟悉数据仓库领域知识，从架构和技术层面参与建设数据仓库，包括元数据管理、数据质量、主数据管理、性能优化和调优。

3.负责数据仓库平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地

4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片

数据采集工程师岗位职责 篇23

1.针对用户行为预测业务，负责用户画像、订单特征体系建设，包括离线数据产出以及服务化;

2.针对用户端上行为产出的实时数据流，挖掘实时特征并服务化;

3.针对客服场景，挖掘实时用户行为异常以及进线异常;

4.针对智能客服场景用户标签挖掘，人群挖掘等工作，支持智能运营方向的业务;

5.负责开发并维护智能客服业务的特征服务系统。

数据采集工程师岗位职责 篇24

1.负责工业设备组网及数据采集方案设计；

2.负责设计方案所需传感器、仪表选型，布线图、数据存储方式、数据表等详细设计；

3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调；

4.负责现场数据采集相关软硬件安装调试；

5.负责和用户现场对口协调、技术指导及现场培训。

数据采集工程师岗位职责 篇25

1. 参加团队会议与讨论，并给予有意义的建议;

2. 协助后端团队和架构师完成数据库相关的设计与开发;

3. 协助业务部门抓取、分析数据。

数据采集工程师岗位职责 篇26

1、负责大数据平台搭建及数据仓库建模；

2、负责数据库管理及数据优化；

3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作；

4、维护大数据平台并能解决相关问题，保障平台正常运行；

5、学习和研究新技术以满足系统需求。

数据采集工程师岗位职责 篇27

岗位职责:

1.负责衔接大数据平台与前端的数据传输；

2.根据客户需求设计大数据业务平台架构、配置组件；

3.负责后台服务的调试与测试，梳理接口文档、开发文档与测试文档。

任职资格:

1.硕士以上，或较为优秀的本科生；后端开发经验2年以上；

2.有基于b/s架构进行实际业务平台开发的经验，有to b软件开发经验更佳；

3.通用软件开发基础、软件架构基础、scrum敏捷开发方法，有大数据基础更佳；

4.精通java或python语言，有rcp框架经验更佳；熟练掌握mybatis、springcloud / springboot、node.js等框架，精通sql技术；了解以太网通信协议，熟悉websocket技术。熟练使用git，svn等工具；

5.学习能力强，勇于挑战，代码质量意识强，笃信“工程即魔法”。

数据采集工程师岗位职责 篇28

职责描述：

1、负责poi数据的属性分析、处理和关系挖掘，构建地图领域的知识图谱。

2、负责nlp、数据挖掘、深度学习等方向的前沿算法研发，并结合地图场景优化。

任职要求：

1、计算机、数学或相关专业，三年以上工作经验。

2、熟悉数据结构和算法设计，熟练使用c++、python。

3、熟悉nlp、机器学习、数据挖掘领域的常用算法与工具，对前沿技术保持热情。

4、良好的.分析和解决问题能力，能独立承担研发工作。

5、有地图数据优化工作背景优先。

团队介绍

主要支持北京岗位

对地图（无人驾驶）、广告（广点通）、快报感兴趣的欢迎勾搭

数据采集工程师岗位职责 篇29

1、MySQL数据库规划、设计、监控维护、升级、备份、镜像、容灾;

2、数据库服务器的安装部署、性能优化、可靠性、容灾方案制定等;

3、对数据库性能分析与调优，排错，保证数据安全;

4、负责对开发工程师的SQL语句进行优化;

5、配合研发制定数据库技术方案，分库分表策略，现有表结构优化，数据迁移方案;

6、负责Mysql自动化相关事宜;

数据采集工程师岗位职责 篇30

1、进行GIS数据建库和数据处理方案的设计和实现;

2、运用相关GIS软件进行数据空间化处理建库;

3、进行影像识别及处理;

4、进行数据采集处理建库项目管理。