Những thách thức trong việc xây dựn

Những thách thức trong việc xây dựng một hệ thống BI và Big data analytics

Thiết kế một nền tảng tích hợp không bao giờ là dễ dàng. Extract, Transfer, và Load (ETL) luôn luôn là giai đoạn dài nhất trong các dự án Data Warehouse. Có nhiều giải pháp ETL khác nhau, đôi khi chúng có tác dụng, đôi khi không. Nếu ETL không được thực hiện tốt, thì bạn ngẫu nhiên bạn sẽ có dữ liệu không chính xác và không tin cậy. Dữ liệu không tin cậy sẽ tạo ra một hệ thống không đáng tin và không sử dụng được. Tất nhiên chẳng ai muốn điều đó cả.

Có thể bạn sẽ dễ dàng nghĩ rằng đây có thể một thứ gì đó giống như một cơ sở dữ liệu sản phẩm. Nhưng nó sẽ trở thành một trò chơi với nhiều phiên bản, lỗi, bản cập nhật, bản phát hành khác nhau, chu kỳ phát hành khác nhau, giấy phép khác nhau, và giấy phép khác nhau dựa trên địa điểm. Và đó chỉ là trong một công ty với một vài sản phẩm. Nó sẽ trở nên phức tạp hơn trong trường hợp các công ty bán lẻ có hàng ngàn sản phẩm khác nhau.

Nền tảng Big Data và BI tích hợp có thể có dữ liệu phi cấu trúc từ các email. Chúng có thể bao gồm dữ liệu bán cấu trúc từ các bản ghi log. Hệ thống Email có thể được phân tán trong cơ sở dữ liệu khác nhau trong nhiều trung tâm dữ liệu trên toàn cầu. Trong một dự án, việc tích hợp thêm vài tường lửa, hay đột nhiên di chuyển dữ liệu từ nơi này sang nơi khác cũng là một cơn ác mộng. Trong một dự án khác, hệ thống bản ghi log có thể là phi định dạng, bán định dạng hoặc một mớ hỗn độn.

Có một lý do mà tại sao các công nghệ Big data như Apache Hadoop khuyến khích di chuyển hệ thống đến nơi có dữ liệu thay vì di chuyển dữ liệu vào hệ thống. Phải mất thời gian để di chuyển dữ liệu qua đường mạng, giữa các bức tường lửa. Bạn có thể bị mất dữ liệu, các gói dữ liệu, tập tin. Độ tin tưởng sẽ trở thành một vấn đề lớn.

Một khái niệm cốt lõi của NoSQL và Hadoop là để di chuyển các ứng dụng đến dữ liệu, ngoại trừ việc điều này không phải là đơn giản. Nếu bạn có 100 hệ thống khác nhau, bạn có thêm vào 100 trường hợp của cùng một ứng dụng cho mỗi hệ thống không? Mặc dù một số người nghĩ rằng họ có thể làm chủ MDM, nhưng thực ra là chẳng có ai cả. Khi bạn có một sản phẩm MDM, MDM bán hàng, và một khách hàng MDM mà không tích hợp hoặc tham gia dễ dàng, việc thêm một ứng dụng vào mỗi hệ thống không có nghĩa là tích hợp hay tham gia vào chúng. Nó vẫn là một hệ thống với nhiều rào cản mà không ai có thể kết nối.

Ngay cả khi một doanh nghiệp được cài đặt một ứng dụng Big Data trên một nền tảng hoàn hảo mà có thể tích hợp và kết nối với các dạng khác nhau của dữ liệu, thì cũng sẽ có lúc xảy ra những vấn đề nghiêm trọng. Sự thật là bạn không thể đột nhiên chạy các thuật toán phức tạp trên một hệ thống mà người dùng đang sử dụng. Điều này có thể thất bại. Nó có thể làm chậm hiệu suất thực thi. Nó có thể lấy hết dữ liệu. Có thể có vấn đề bảo mật. Cài đặt một ứng dụng yêu cầu một lượng lớn không gian, bộ nhớ và tốc độ có thể khiến một hệ thống cũ hỏng hóc. Thậm chí nó có thể không hoạt động chính xác trên hệ thống cũ. Nếu nó hoạt động, nó có gì khác so với hệ thống đang tồn tại không, bạn chọn MDM không kết nối hay hệ thống BI?

Một nền tảng BI và Big Data analytics cần sự sáng tạo. Nó phải là thế hệ tiếp theo. Nó phải sử dụng công nghệ trong bộ nhớ hoặc cấu hình một hệ thống sử dụng các công cụ như Hadoop và Apache Cassandra như area, sandbox, hệ thống lưu trữ và có một hệ thống ETL mới và cải tiến. Nó phải tích hợp dữ liệu cấu trúc, phi cấu trúc và bán cấu trúc. Có rất nhiều phần trong bài toán khó này.

Kết quả (Anh) 1:

The challenge in building a BI system and Big data analyticsDesign an integrated platform is never easy. Extract, Transfer and Load (ETL) is always the longest stage in the Data Warehouse project. There are many different ETL solution, sometimes they work, sometimes not. If not done well, ETL, you randomly you will have data is inaccurate and unreliable. Untrusted data will create a system that is unreliable and unusable. Of course nobody want that at all.You may easily think that this may be something like a product database. But it will become a game with multiple versions, bugs, updates, releases vary, different release cycles, different licenses, and various permits based on location. And that's just in a company with a few products. It will become more complex in the case of retail companies have thousands of different products.Big Data platform and integrated BI can have unstructured data from the email. They can include semi-structured data from the log record. Email systems can be dispersed in various databases in multiple data centers worldwide. In one project, integrating several firewalls, or suddenly move data from one place to another is a nightmare. In another project, the system log records can be non-format, selling format or a mess.There is a reason why Big data technologies such as Apache Hadoop recommended moving the system to where the data instead of moving the data into the system. It takes time to move data through the network, between the firewalls. You can lose data, the data packets, the file. Reliability will become a big problem.A core concept of NoSQL and Hadoop is to move the data to the application, except that this is not simple. If you have 100 different systems, you can add 100 instances of the same application for each system? Although some people think that they can master the MDM, but actually none at all. When you have a product MDM, MDM sales, and a customer MDM without integrated or easily, adding an application on each system does not mean integration or participate in them. It still is a system with many barriers that no one can connect.Even when a business installed a Big Application Data on a perfect platform that can integrate and connect with different forms of data, will also be at serious problems occur. The truth is you can't suddenly run complex algorithms on a system that users are using. This may fail. It can slow performance. It can take data. There may be security issues. Install an application that requires a large amount of space, memory and speed can cause a system failure. Even it may not work correctly on older systems. If it works, it is nothing else than the existing system, you select the MDM is not connected or BI system?A BI platform and Big Data analytics needs creativity. It is the next generation. It must use in-memory technology or configure a system to use tools such as Hadoop and Apache Cassandra such as area, sandbox, archive system and has a new and improved ETL systems. It must integrate structured data, unstructured and semi-structured. There are many parts of this difficult problem.

Kết quả (Anh) 2:

The challenges in building a BI system and data analytics Big

Design an integrated platform is never easy. Extract, Transfer and Load (ETL) is always the longest stage in the Data Warehouse project. There are many different ETL solution, sometimes they work, sometimes not. ETL If not done well, then you will have random data is inaccurate and unreliable. Untrusted data will create a system unreliable and unusable. Of course nobody wants that.

You might easily think that this may be something like a database product. But it becomes a game with multiple versions, bugs, updates, different releases, different release cycles, various licenses and permits vary based on location. And that's just in a company with several products. It will become more complex in the case of retail companies have thousands of different products.

Big Data and BI platform can integrate unstructured data from email. They may include semi-structured data from the logs. Email systems can be dispersed in different databases in multiple data centers around the globe. In one project, the integration of a few firewalls, or suddenly move data from one place to another is a nightmare. In another project, the system logs can be free-form, format or selling a mess.

There is a reason why Big Data technologies such as Apache Hadoop system encourages moves data to where instead of moving the data into the system. It takes time to move data through the network, between the firewall. You can lose your data, the data packets, files. Of trust becomes a big problem.

A core concept of NoSQL and Hadoop is to move the application to the data, except that this is not simple. If you have 100 different systems, you can add to 100 instances of the same application for each system? Although some people think that they can do all MDM, but in fact there is none at all. When you have a product MDM, MDM sales, and an MDM customers without integration or participation easily, adding an application on each system does not mean that integrate or engage them. It's still a system with multiple barriers that no one can connect.

Even if a business is installing a Big Data applications on a perfect platform that can integrate and connect with different types of data, there will also be the time of the serious problems. The truth is you can not suddenly run complex algorithms on a system where the user is using. This can fail. It can slow the execution performance. It can take all the data. There may be security issues. Installing an application requires a large amount of space, memory and speed can make an old system failures. Even it may not work correctly on older systems. If it works, it's nothing more than the existing system does not, you do not connect or select MDM BI system?

A BI platform and Big Data analytics need to be creative. It is the next generation. It must use the technology in memory or a system configuration using tools such as Hadoop and Apache Cassandra area, sandbox, storage systems and systems with a new and improved ETL. It must integrate structured data, unstructured and semi-structured. There are many parts of this difficult problem.

Kết quả (Anh) 3:

The challenges in building a system of data analytics and big ballsDesigning an integrated foundation is not easy. Extract, transfer, and load (ETL) has been the longest phase of warehouse project data. There are a lot of different solutions, we ETL, sometimes work, sometimes not. If ETL does not perform well, your friends will have random data is not accurate, unreliable and unreliable data, create a system is not reliable and not used.You may think that this can be very easy thing, like a database, but it will become a game, multi version, version updates, release different release cycle is different, different licenses, and different paper allowed based on position. This is some products in a company. It will become more complex, in this case, retail enterprises have tens of thousands of different products.Basic data integration and big ball can be email from unstructured data. They may include semi structural data from the log log. E-mail systems can be distributed in different databases in a lot of data centers in a global project, the integration of more firewalls, or suddenly from the mobile data to another place is a nightmare. In another project log, the system log can be non formatted, formatted, or sold in a mess.There is a reason why big data technology Hadoop encourages mobile data systems such as Apache systems to move to data rather than mobile. Take time to pass a firewall between the mobile data network. You may have lost the data packets to the data file. Degree, believe will become a big problem.The Hadoop NoSQL core and a concept of mobile apps to the data, but this is not easy. If you have 100 different systems, you can add to 100 cases, with an application for each system? Although some people think they can do MDM boss, but in fact there is No. When you have a MDM MDM product, sales, and customer MDM integration or join is not easy, each application system integration or does not mean to join them. It is still a multi barrier system that can't be connected.Even if an enterprise application installs a perfect integration based on a large data, it can be connected to different types of data, and also serious problems can occur. The fact is that you can't suddenly algorithms run in a complex system that the user is using. This may fail, it can make the implementation of the efficiency of slow. It can put all the data there may be security issues. Installing an application requires a large amount of memory space and speed, which can make an old system failure, or even impossible to operate completely in the old system. If it works, it can be in the presence of different systems, or do you choose not to connect the MDM system to the ball?Based on a large data, analytics needs to be innovative, this is the next generation. It uses the technology, in the configuration utility or memory system, such as Apache Cassandra and Hadoop sandbox area, storage system and a new and improved ETL System integration. It is the data structure, non structural and structural sell. Mathematical problems in this difficult part.