Hỏi đáp

Chia sẻ kiến thức, cùng nhau phát triển

Hỏi về Big Data

14:39 18-01-2018 615 lượt xem 2 bình luận 18:42 18-01-2018

Anh cho em hỏi, bây giờ muốn làm về Big Data thì mình cần những kiến thức gì,tìm hiểu ở đâu.

Bình luận

Để bình luận, bạn cần đăng nhập bằng tài khoản Howkteam.

Đăng nhập
Anh Thư đã bình luận 18:39 18-01-2018

Big Data có các tác vụ tương đương với cơ sở dữ liệu quan hệ, nhưng được mở rộng ở các khía cạnh, khi làm với dự án Big Data có thể chỉ làm với 1 khía cạnh nhất định, hoặc hơn 2 khía cạnh lẫn nhau:

  • Volume: CSDL lưu 1 nơi -> Big Data có CSDL phân tán trên nhiều máy khác nhau
  • Variant: CSDL làm việc với dữ liệu quan hệ dạng table, gọi là structural data -> Big Data làm việc nhiều kiểu dữ liệu khác nhau, structural data, semi-structural data (JSON, XML), unstructural data (text file)
  • Velocity: CSDL là khối dữ liệu, Big Data làm với Stream, dữ liệu được tạo ra liên tục từ khách hàng từng ngày.

Các tác vụ nhỏ thường gặp trong CSDL cũng thường gặp trong Big Data:

  • Truy vấn: projection, condtion, query optimization. Với Big Data có các câu lệnh truy vấn riêng cho các dữ liệu JSON, text file. Đa số các tác vụ là truy vấn
  • Khai phá: Rút trích thông tin từ dữ liệu thô (semi-structural, unstructural với Big Data).
  • Thống kê: Áp dụng mô hình thống kê để tìm ra pattern trong dữ liệu
  • Học máy: Áp dụng các giải thuật ML vào CSDL
  • Visualization: vẽ các biểu đồ từ CSDL

Với các dữ liệu đặc biệt: như bản đồ, mạng xã hội (graph), comment (text), chứng khoán (time-series) có các cách truy vấn, khai phá, thống kê, giải thuật, visualization khác nhau.

Với từng loại dữ liệu, từng khía cạnh khác mô hình CSDL truyển thống, tác vụ chính mà sẽ có nhiều dự án Big Data khác nhau. Nên mỗi người tham gia dự án sẽ có định nghĩa riêng của mình về Big Data là gì.

 

K9 SuperAdmin, KquizAdmin, KquizAuthor đã bình luận 14:42 18-01-2018

Câu hỏi mới nhất