Data Engineer là người thu thập, tổng hợp dữ liệu từ nhiều nguồn thành 1 nguồn duy nhất. Những nguồn này có thể đến từ website, phần mềm nghiệp vụ (bán hàng,tài chính kế toán, kho, nhân sự, ERP, Corebanking, excel file, text file…. ). Hệ thống dữ liệu xây dựng bởi Data Engineer được phục vụ cho phòng ban nghiệp vụ, Data Analyst, Data Scientist, Business Intelligence phân tích dữ liệu để hỗ trợ ra quyết định.
1. Những công việc chính của 1 Data Engineer
Phân tích, tổng hợp và lưu trữ dữ liệu
Data Engineer kết hợp với DBA tạo ra những vùng lưu trữ dữ liệu từ nguồn hệ thống thích hợp và đem lại hiệu quả cao. Nhiệm vụ của Data Engineer là đưa các dữ liệu vào Database và File Sever bằng (FTP, drag and drop…) và lưu trữ bằng (.csv, xlsx, .dat, database).
Chuẩn hóa, chuyển đổi logic và tập trung nguồn dữ liệu
Những dữ liệu được kỹ sư dữ liệu lưu chuyển đến những nguồn lữu trữ khác nhau để so sánh, thêm dữ liệu và dự phòng các dữ liệu cho nhiều trường hợp. Kỹ sư dữ liệu tập trung nguồn dữ liệu đưa thông tin về một nguồn lưu trữ chung với những mô hình chuyên biệt, dành cho việc khôi phục và phân tích các dữ liệu trong những tình huống dự phòng.
Phân tích và trích xuất dữ liệu
Kỹ sư dữ liệu sẽ kết hợp cùng với DBA để tạo những vùng lưu trữ dữ liệu, đảm bảo các yếu tố về bảo mật, tính hiệu quả. Theo dõi và kiểm tra nguồn dữ liệu được đưa từ các Database.
Nhiệm vụ của kỹ sư dữ liệu còn bao gồm việc như kiểm tra, trích xuất dữ liệu, gộp và dự trữ dữ liệu, đưa ra các phương thức hoạt động cho hệ thống dữ liệu.
2. Lộ trình theo nghề data engineer
Lộ trình nghề Data Engineer sẽ như sau:
1 – Biết ngôn ngữ lập trình (SQL, Python, R)
2 – Biết làm việc trên những loại hệ cơ sở dữ liệu (Mysql, Microsoft SQL Server)
3 – Biết làm ETL và Data warehouse (Talend, SQL server Integration service,…)
4 – Biết biểu diễn trực quan dữ liệu với Power BI, Python và R.
3. Mức lương của Data Engineer
Ngày nay nghề kỹ sư dữ liệu đang cực kỳ phát triển trên thế giới. Ở Việt Nam nghề này rất triển vọng với mức lương: 14-18 triệu đối với vị trí fresher, 20-25 triệu đối với mức junior và con số từ 30-50 triệu cho level middle, senior.
------------------------------------
HRchannels - Headhunter - Dịch vụ tuyển dụng cao cấp
Hotline: 08. 3636. 1080
Email:
[email protected] /
[email protected]Địa chỉ: Tòa MD Complex, 68 Nguyễn Cơ Thạch, Nam Từ Liêm, Hà Nội, Việt Nam
Oct 17 2022, 06:29 PM
