Những thách thức trong việc xây dựn

Những thách thức trong việc xây dựng một hệ thống BI và Big data analytics

Giải pháp

Một nền tảng BI tích hợp và Big Data analytics là một hệ thống khác nhau. Bạn có quyền lựa chọn việc mua hay tự xây dựng. Bạn phải xem xét các hệ thống hiện có, các trường hợp sử dụng, mức độ kinh nghiệm và năng lực của nhân viên của bạn. Một số công ty có thể muốn xây dựng một hệ thống mã nguồn mở chỉ sử dụng Hadoop (Hadoop Distributed File System [HDFS] và MapReduce), Zookeeper, Solr, Sqoop, Hive, HBase, Nagios, và Cacti, trong khi người khác có thể tìm kiếm hỗ trợ nhiều hơn và cố gắng xây dựng một hệ thống sử dụng IBM ® InfoSphere ® BigInsights ™ và IBM Netezza. Các công ty khác có thể muốn tách dữ liệu có cấu trúc và phi cấu trúc, và xây dựng một giao diện (GUI) lớp người dùng đồ họa cho người dùng bình thường, người dùng có nhiều quyền hạn, và các ứng dụng.
Nó thực sự phụ thuộc vào công ty. Và nó không chỉ là một hệ thống plug-and-play. Mặc dù bạn quyết định mua hay tự xây dựng thì ở mỗi cấp độ đều có những phần khác nhau.

ETL

ETL, giai đoạn hiện thực và kiểm soát dữ liệu, và tất cả quá trình liên quan luôn luôn là một bước tiến quan trọng đầu tiên. Bạn không thể đặt ứng dụng Big Data vào một hệ thống giao dịch và mong muốn mọi thứ hoạt động mà không làm ảnh hưởng hệ thống ban đầu, hay mong đợi nó tích hợp tốt với mọi thứ khi mà hệ thống vẫn đang hoạt động. Do đó, một số dữ liệu cần được đưa vào Hadoop hay bất cứ hệ thống noSQL nào khác hay một Data Warehouse xử lý song song (MPP). Có nhiều công cụ và phương pháp để làm việc này, và hầu hết chúng phụ thuộc vào hệ thống, mã nguồn, dữ liệu, kích thước và nhân lực.

Bạn có thể bắt đầu với Sqoop. Nó là một công cụ tuyệt vời để xử lý dữ liệu từ hệ thống quản lý cơ sở dữ liệu quan hệ. Bổ sung thêm các công cụ mã nguồn mở khác như Flume hoặc Scribe có hỗ trợ ghi log. Ngoài ra còn có các công cụ ETL như Talend hoặc IBM InfoSphere DataStage ®, cả hai đều đã tích hợp Big Data. Những công cụ này trực quan hơn và không cần phải có một tiến sĩ máy tính để xây nên cơ sở hạ tầng. Cả hai công cụ cung cấp các tài liệu kỹ thuật, các bản cập nhật, và giao diện trực quan, chúng luôn được cải thiện, và đang được sử dụng trong nhiều ngành công nghiệp và trong các doanh nghiệp.

Một số công ty chỉ thích dùng mã nguồn mở. Các công ty khác có thể có nhiều hệ thống được xây dựng trên các sản phẩm IBM khác nhau. Rõ ràng, tích hợp những gì đã được sử dụng với các công nghệ mới là một việc quan trọng cần xem xét.
Đó là thời gian bạn dành để xây dựng hệ thống ETL, và thật đáng buồn nếu kết quả không như bạn mong đợi. Hadoop có nhiều thành phần mà bạn có thể cần tới hơn là Sqoop. Việc tích hợp và bổ sung nhiều thành phần có thể gây phản tác dụng, đặc biệt là nếu bạn không có kinh nghiệm và kiến thức hoặc muốn tự xây dựng công cụ ETL. Quá trình này đòi hỏi thời gian và sự kiên nhẫn. Có thể bạn cũng sẽ gặp nhiều trở ngại. Bạn có thể sử dụng một công cụ mã nguồn mở cho các cộng đồng sau này. Hoặc bạn có thể cấu hình và phát triển các công cụ ETL của riêng mình với các ứng dụng nội bộ khác nhau và các công cụ mã nguồn mở, và sau đó, nếu cộng đồng mã nguồn mở có những thay đổi hay một vài nhân viên phát triển của bạn không còn làm việc nữa, lúc này tự dưng bạn sẽ có một hệ thống mà chẳng ai biết cách để duy trì hay sửa chữa.

Các doanh nghiệp khôn ngoan tập trung vào nhân viên, kinh nghiệm, ngân sách, tiềm năng và thực tế của họ. Ví dụ, nếu một doanh nghiệp có đội ngũ nhân viên IT tương đối nhỏ thì việc so sánh cách xây dựng hệ thống với Google hay Facebook chưa phải là một ý tưởng tốt. Đừng bao giờ so sánh công ty nhỏ của bạn với các công ty có đã có sẵn hệ thống máy chủ và các chuyên gia máy tính làm việc trên những hệ thống và cơ sở hạ tầng cụ thể. Đôi khi, sử dụng dịch vụ điện toán đám mây hoặc nhân viên bên ngoài có thể là lựa chọn duy nhất. Những lần khác, các thiết bị Big Data như Netezza chính là lựa chọn tốt nhất.

Lưu trữ

Lưu trữ dữ liệu là một yếu tố rất lớn và có thể yêu cầu bạn sử dụng nhiều công nghệ khác nhau. Trong hệ thống Hadoop, ta có HBase. Nhưng một số công ty sử dụng Cassandra, Neo4j, Netezza, HDFS, và các công nghệ khác, tùy thuộc vào những gì cần thiết. HDFS là một hệ thống lưu trữ tập tin. HBase là một hệ thống lưu trữ theo cột (column) tương tự như Cassandra. Nhiều công ty sử dụng Cassandra cho việc phân tích gần hơn với thời gian thực. Tuy nhiên HBase cũng đang ngày càng được phát triển.

Bạn có thể xem xét giữa HBase hoặc Cassandra khi muốn sử dụng một hệ thống quản lý cơ sở dữ liệu mã nguồn mở cho việc phân tích Big Data. Theo các nền tảng Data Warehouse, Netezza là một trong những công nghệ hàng đầu trong công nghệ phân tích và BI. Sự lựa chọn tốt nhất để tích hợp Big Data là sử dụng một nền tảng tích hợp bao gồm Hadoop và Cassandra cho dữ liệu phi cấu trúc hoặc bán cấu trúc và Netezza cho dữ liệu có cấu trúc.

IBM Netezza Customer Intelligence Appliance kết hợp một số công nghệ khác nhau vào một nền tảng. Ở lớp trên cùng, đó là lớp người dùng, n

Kết quả (Anh) 1:

The challenge in building a BI system and Big data analyticsThe solutionAn integrated BI platform and Big Data analytics is a different system. You have the right to choose whether to buy or build. You must review the existing system, the case of use, level of experience and competence of your staff. Some companies may want to build a system using only the open source Hadoop (Hadoop Distributed File System [HDFS] and that's MapReduce), Zookeeper, Solr, Sqoop, Hive, HBase, Nagios, and Cacti, while others may seek more support and trying to build a system using IBM ® BigInsights ® ™ and IBM InfoSphere Netezza. Other companies may want to split the data are structured and unstructured, and build an interface (GUI) graphical user class for normal users, users have many powers, and other applications.It really depends on the company. And it is not just a system plug-and-play. Although your decision to buy or build at each level has different parts.ETLETL, implementation stages and control data, and all related process is always an important first step. You can not put the Big Application Data on a transaction system and expect that everything works without compromising the original system, or expect it integrates well with everything that the system still works. Therefore, some data need to be brought into the Hadoop or any other noSQL system or a Data Warehouse parallel processing (MPP). There are many tools and methods to do this, and most of them depend on the system, source code, data, the size and manpower.You can start with Sqoop. It is a great tool to process data from the management system relational database. Add the other open source tools such as the Flume or Scribe have support writing log. There are also other tools such as the IBM InfoSphere DataStage or Talend ETL ®, both of which have integrated the Big Data. These tools more intuitive and do not need to have a PhD in computers to building infrastructure. Both tools provide technical documentation, updates, and intuitive interface, we are always improving, and are used in many industries and in enterprises.Some companies like to use open source. Other companies may have many systems built on IBM products. Clearly, what integration has to be used with the new technology is important to consider.It is time you spend to build ETL system, and sadly if results are not as you expect. Hadoop has many components that you may need to than Sqoop. The integrated and complementary elements can cause side effects, especially if you have no experience and knowledge or want to manually build ETL tool. This process requires time and patience. Maybe you will also encounter many obstacles. You can use an open source tool for the community. Or you can configure and develop its own ETL tools with internal applications and open-source tool, and then, if the open source community have the right to change or a few of your development staff no longer working anymore, just at the moment you will have a system that nobody knew how to maintain or repair.The wise business focused on the staff, experience, budget, the potential and the reality of them. For example, if a business has a team relatively small IT staff, the comparison of building system with Google or Facebook is not a good idea. Don't ever compare your small company with the company have available server systems and computer experts working on the system and specific infrastructure. Sometimes, using cloud services or external staff might be the only option. The other times, the Big device Data such as Netezza is the best choice.ArchiveData storage is a huge factor and may request that you use many different technologies. In the system of Hadoop, HBase. But some companies use Neo4j, Cassandra, Netezza, HDFS, and other technologies, depending on what is needed. HDFS is a file storage system. HBase is a system hosted by column (column) similar to Cassandra. Many companies use Cassandra for the analysis closer to real time. However HBase also are increasingly being developed.You can look between HBase or Cassandra when wanting to use a management system open source database for the analysis of Big Data. According to the Data Warehouse platform, Netezza is one of the leading technology in the BI and analytical technology. The best choice to integrate Big Data is using an integrated platform including Hadoop and Cassandra for unstructured data or semi-structured and structured data for Netezza.IBM Customer Intelligence Netezza Appliance that combines a number of different technologies into one platform. In the top layer, which is the user class, n

Kết quả (Anh) 2:

The challenges in building a BI and Big Data systems analytics

solutions

integrate a BI platform Big Data analytics and is a different system. You have the option to purchase or build. You must consider the existing system, use cases, level of experience and capabilities of your staff. Some companies may want to build a system using only open source Hadoop (Hadoop Distributed File System [HDFS] and MapReduce), Zookeeper, Solr, Sqoop, Hive, HBase, Nagios, Cacti and, while others may seek more support and trying to build a system using IBM ® InfoSphere BigInsights ™ and IBM Netezza ®. Other companies might want to split the structured data and unstructured, and build an interface (GUI) graphical user layer for normal users, users have more powers, and applications.
It really depends on the company. And it is not only a system of plug-and-play. While you decide to purchase or build it at each level are different parts.

ETL

ETL, period realism and control data, and all related processes is always an important first step. You can not put Big Data applications in a trading system and wants everything works without compromising the original system, or expect it integrates well with everything when the system is still active. Therefore, some data should be included in Hadoop or any other NoSQL system or a Data Warehouse Parallel Processing (MPP). There are many tools and methods to do this, and most of them depend on the system, source code, data, and human dimensions.

You can start with Sqoop. It is a great tool for process data management system relational database. Adding other open source tools like Scribe flume or support logging. There are also ETL tools such as IBM InfoSphere DataStage ® Talend or both have integrated Big Data. These tools are intuitive and do not require a PhD in computers to build up the infrastructure. Both tools provide technical documentation, updates, and an intuitive interface, we are always improving, and are used in many industries and in enterprises.

Some companies prefer to use open source. Other companies may have multiple systems built on various IBM products. Clearly, integrating what used to new technologies is an important consideration.
That is the time you spend to build ETL systems, and sadly, if the results are not as you expected. Hadoop has many components that you may need more than the Sqoop. The integration and complement many components can backfire, especially if you have no experience and knowledge, or want to build ETL tool. This process requires time and patience. Maybe you'll encounter many obstacles. You can use an open source tool for communities later. Or you can configure and develop their own ETL tool with various internal applications and open source tools, and then, if the open-source community has changed, or a few people your developers no longer working, now suddenly you have a system where no one knows how to maintain or repair.

The wise business focused on employees, experience, budget, potential and their reality. For example, if an enterprise IT staff is relatively small comparing to build systems with Google or Facebook is not a good idea. Never compare your small business with the company is available on server systems and computer experts working on the system and specific infrastructure. Sometimes, using cloud services or external staff may be the only option. Other times, the Big Data devices such as Netezza is the best option.

Storage

Data storage is a huge factor and may require you to use a variety of different technologies. In the system of Hadoop, HBase we have. But some companies use Cassandra, Neo4j, Netezza, HDFS, and other technologies, depending on what is needed. HDFS is a file storage system. HBase is a column storage system (column) similar to Cassandra. Many companies use Cassandra for analysis closer to real time. However HBase are increasingly being developed.

You can consider HBase or Cassandra between when you want to use a management system database open source for analyzing Big Data. According to the Data Warehouse platform, Netezza is one of the leading technologies in the analysis and BI technologies. The best choice to integrate Big Data is using an integrated platform include data Hadoop and Cassandra unstructured or semi-structured and Netezza for structured data.

IBM Netezza Customer Intelligence Appliance combines several different technologies into one platform.