Cơ bản về kiến trúc Big DataChu kỳ

Cơ bản về kiến trúc Big Data

Chu kỳ của Big Data

Cũng giống các ứng dụng liên quan đến cơ sở dữ liệu khác, dự án big data cũng có chu kỳ phát triển của nó. 3Vs đóng vai trò quan trọng trong việc quyết định kiến trúc của dự án big data. Dự án big data cũng có các phase như data capturing, transforming, integrating, analyzing và building actionable reporting.
Các quá trình này trông gần như giống nhau, nhưng do bản chất của dữ liệu, kiến trúc thường là hoàn toàn khác nhau. Dưới đây là vài câu hỏi mà tất cả mọi người nên hỏi trước khi bắt đầu với kiến trúc big data.

Các câu hỏi đặt ra

Tổng số database của bạn bao nhiêu thì là lớn?
Yêu cầu của bạn về thời gian trong các báo cáo là gì – thời gian thực (real time), bán thời gian thực (semi real time) hay thời gian thường xuyên (frequent interval)?
Tính sẵn sàng của dữ liệu quan trọng như thế nào và kế hoạch khôi phục thảm họa (disaster recovery) là gì?
Kế hoạch bảo mật cho mạng và phần cứng dùng cho dữ liệu là gì?
Nền tảng gì sẽ là động lực đằng sau dữ liệu?

Đây chỉ là những câu hỏi cơ bản, nhưng dựa trên nhu cầu của ứng dụng và kinh doanh, bạn điều chỉnh các câu hỏi. Các câu hỏi này trông khá đơn giản nhưng câu trả lời thì không đơn giản. Khi chúng ta đang nói về cài đặt dữ liệu lớn, có nhiều khía cạnh quan trọng khác phải xem xét khi quyết định kiến trúc.

Các thành phần của kiến trúc Big Data

Hoàn toàn không thể đưa ra giải pháp tối ưu nhất cho bất kỳ giải pháp big data nào trong 1 bài viết duy nhất, tuy nhiên, chúng ta có thể nói về các khối xây dựng cơ bản trong kiến trúc big data.

Hình ảnh trên cho chúng ta cái nhìn tổng quan tốt về cách các thành phần khác nhau trong kiến trúc big data tương tác lẫn nhau. Trong big data, các nguồn dữ liệu khác nhau là 1 phần của kiến trúc do đó extract, transform và integration là 1 trong những lớp quan trọng nhất của kiến trúc. Hầu hết các dữ liệu được lưu trữ trong quan hệ cũng như không quan hệ và các giải pháp data warehousing. Theo nhu cầu kinh doanh, các dữ liệu khác nhau (various) được xử lý và chuyển thành báo cáo trực quan với người dùng. Cũng giống như phần mềm, phần cứng cũng là phần quan trọng nhất của kiến trúc big data. Trong kiến trúc big data, hạ tầng phần cứng vô cùng quan trọng và cần phải cài đặt ngăn chặn lỗi xảy ra, đảm bảo high availability và DR.

NoSQL trong quản lý dữ liệu

NoSQL là 1 thuật ngữ rất nổi tiếng và nó thật sự có ý nghĩa là Not Relational SQL hay Not Only SQL. Điều này là do trong kiến trúc big data, dữ liệu ở định dạng bất kỳ. Để mang tất cả dữ liệu cùng nhau thì công nghệ mối quan hệ là không đủ, do các công cụ mới, kiến trúc và các thuật toán khác được phát minh sẽ nhận tất cả các loại dữ liệu. Những điều này được gọi chung là NoSQL.

Kết quả (Anh) 1:

Basic architecture of Big DataThe cycle of Big DataJust the application related to a different database, the big project data also has its development cycle. important role 3Vs in deciding the project's architecture big data. The big project data also have the phase as data capturing, transforming, integrating, analyzing and building actionable reporting.This process looks almost the same, but due to the nature of the data, the architecture is often completely different. Here are a few questions that everyone should ask before getting started with big data architecture.The question arisesTotal database of you how much will it be great?Asked about the timing of the report is nothing – real time (real time), part time (semi real time) or time regular (frequent interval)?Availability of critical data and disaster recovery planning (disaster recovery)?The security plan for the network and hardware used for data?What platforms will be the driving force behind the data?This is just the basic question, but based on the needs of your applications and your business, you adjust the questions. This question looks pretty simple but the answer is not simple. When we are talking about large data settings, there are many other important aspects to consider when deciding on the architecture.The components of the architecture of Big DataAbsolutely could not put out the most optimal solution for any big data solutions in 1 single article, however, we can talk about the basic building blocks of big data architecture.The image above gives us a good overview of how the different components in the architecture of the big data of mutual interaction. In big data, different data sources is part of the architecture so that extract, transform, and integration is one of the most important layer of the architecture. Most of the data are stored in the relationship as well as impertinent and data warehousing solutions. According to business needs, the various data (various) are processed and transformed into Visual reports to users. Just like software, hardware is also the most important part of the big architectural data. In architecture by big data, hardware infrastructure of utmost importance and need to install the stop error occurs, ensure high availability and DR.NoSQL in data managementNoSQL is a very popular term and it really mean is Not Relational SQL or Not Only SQL. This is because in big data architecture, data in any format. To bring all the data together, the relationship technology is not enough, because the new tool, the architecture and the other algorithm was invented will get all kinds of data. These are referred to as NoSQL.

Kết quả (Anh) 2:

Fundamentals Big Data architecture of Big Data Cycle Like applications involving other databases, big data projects also its development cycle. 3Vs plays an important role in determining the architecture of big data projects. The project also has the big data as data capturing phase, transforming, integrating, building actionable Analyzing and reporting. The process looks almost the same, but due to the nature of the data, the architecture is often completely different. Here are a few questions that everyone should ask before you start with big data architecture. The question arises Whole how much your database is large? Your Inquiry about the time of the report what is - real time (real time), semi-real time (semi real time) or regular time (frequent interval)? the availability of data and how important disaster recovery planning (disaster recovery) what is the security plan for network and hardware used for data is what? what's Platform motivation behind the data? these are just the basic question, but based on the needs of the application and business, you adjust the questions. The question looks quite simple, but the answer is not simple. When we are talking about large data installations, there are many other important aspects to consider when deciding on the architecture. The components of Big Data architecture is completely impossible to make the most optimal solution for any big data solutions in one single article, however, we can talk about the basic building blocks of big data architecture. the image above gives us a good overview of how the different components architecture big data together in interactive. In big data, different data sources is one part of the architecture so that extract, transform, and integration is one of the most important layers of the architecture. Most of the data is stored in non-relational as well as relational and data warehousing solutions. According to business needs, the different data (various) are processed and transformed into visual reports to users. Like software, hardware as well as the most important part of the big data architecture. In the big data architecture, hardware infrastructure is extremely important and should be installed to prevent errors occurring, ensuring high availability and DR. NoSQL data management in one term NoSQL is very popular and it really Not meaningful is Not Only Relational SQL or SQL. This is because in big data architecture, data in any format. To bring all the data together, the technology relationship is not enough, so the new tool, architects and other algorithms invented will receive all kinds of data. These are referred to as NoSQL.