2. Vài thông tin về tình hình Big D

2. Vài thông tin về tình hình Big Data hiện nay

Theo tài liệu của Intel vào tháng 9/2013, hiện nay thế giới đang tạo ra 1 petabyte dữ liệu trong mỗi 11 giây và nó tương đương với một đoạn video HD dài 13 năm. Bản thân các công ty, doanh nghiệp cũng đang sở hữu Big Data của riêng mình, chẳng hạn như trang bán hàng trực tuyến eBay thì sử dụng hai trung tâm dữ liệu với dung lượng lên đến 40 petabyte để chứa những truy vấn, tìm kiếm, đề xuất cho khách hàng cũng như thông tin về hàng hóa của mình.

Nhà bán lẻ online Amazon.com thì phải xử lí hàng triệu hoạt động mỗi ngày cũng như những yêu cầu từ khoảng nửa triệu đối tác bán hàng. Amazon sử dụng một hệ thống Linux và hồi năm 2005, họ từng sở hữu ba cơ sở dữ liệu Linux lớn nhất thế giới với dung lượng là 7,8TB, 18,5TB và 24,7TB.

Tương tự, Facebook cũng phải quản lí 50 tỉ bức ảnh từ người dùng tải lên, YouTube hay Google thì phải lưu lại hết các lượt truy vấn và video của người dùng cùng nhiều loại thông tin khác có liên quan.

Còn theo tập đoàn SAS, chúng ta có một vài số liệu thú vị về Big Data như sau:
Các hệ thống RFID (một dạng kết nối tầm gần, như kiểu NFC nhưng có tầm hoạt động xa hơn và cũng là thứ dùng trong thẻ mở cửa khách sạn) tạo ra lượng dữ liệu lớn hơn 1.000 lần so với mã vạc truyền thống
Chỉ trong vòng 4 giờ của ngày “Black Friday” năm 2012, cửa hàng Walmart đã phải xử lí hơn 10 triệu giao dịch tiền mặt, tức là khoản 5.000 giao diện mỗi giây.
Dịch vụ chuyển phát UPS nhận khoảng 39,5 triệu yêu cầu từ khách hàng của mình mỗi ngày
Dịch vụ thẻ VISA xử lí hơn 172.800.000 giao dịch thẻ chỉ trong vòng một ngày mà thôi
Trên Twitter có 500 triệu dòng tweet mới mỗi ngày, Facebook thì có 1,15 tỉ thành viên tạo ra một mớ khổng lồ dữ liệu văn bản, tập tin, video…
3. Công nghệ dùng trong Big Data

Big Data là nhu cầu đang tăng trưởng lớn đến nỗi Software AG, Oracle, IBM, Microsoft, SAP, EMC, HP và Dell đã chi hơn 15 tỉ USD cho các công ty chuyên về quản lí và phân tích dữ liệu. Năm 2010, ngành công nghiệp Big Data có giá trị hơn 100 tỉ USD và đang tăng nhanh với tốc độ 10% mỗi năm, nhanh gấp đôi so với tổng ngành phần mềm nói chung.

Như đã nói ở trên, Big Data cần đến các kĩ thuật khai thác thông tin rất đặc biệt do tính chất khổng lồ và phức tạp của nó. Năm 2011, tập đoàn phân tích McKinsey đề xuất những công nghệ có thể dùng với Big Data bao gồm crowsourcing (tận dụng nguồn lực từ nhiều thiết bị điện toán trên toàn cầu để cùng nhau xử lí dữ liệu), các thuật toán về gen và di truyền, những biện pháp machine learning (ý chỉ các hệ thống có khả năng học hỏi từ dữ liệu, một nhánh của trí tuệ nhân tạo), xử lí ngôn ngữ tự nhiên (giống như Siri hay Google Voice Search, nhưng cao cấp hơn), xử lí tín hiệu, mô phỏng, phân tích chuỗi thời gian, mô hình hóa, kết hợp các server mạnh lại với nhau.... Những kĩ thuật này rất phức tạp nên chúng ta không đi sâu nói về chúng.

Ngoài ra, các cơ sở dữ liệu hỗ trợ xử lí dữ liệu song song, ứng dụng hoạt động dựa trên hoạt động tìm kiếm, file system dạng rời rạc, các hệ thống điện toán đám mây (bao gồm ứng dụng, nguồn lực tính toán cũng như không gian lưu trữ) và bản thân Internet cũng là những công cụ đắc lực phục vụ cho công tác nghiên cứu và trích xuất thông tin từ “dữ liệu lớn”. Hiện nay cũng có vài cơ sở dữ liệu theo dạng quan hệ (bảng) có khả năng chứa hàng petabyte dữ liệu, chúng cũng có thể tải, quản lí, sao lưu và tối ưu hóa cách sử dụng Big Data nữa.

Những người làm việc với Big Data thường cảm tháy khó chịu với các hệ thống lưu trữ dữ liệu vì tốc độ chậm, do đó họ thích những loại ổ lưu trữ nào có thể gắn trực tiếp vào máy tính (cũng như ổ cứng gắn trong máy tính của chúng ta vậy). Ổ đó có thể là SSD cho đến các đĩa SATA nằm trong một lưới lưu trữ cỡ lớn. Những người này nhìn vào ổ NAS hay hệ thống lưu trữ mạng SAN với góc nhìn rằng những thứ này quá phức tạp, đắt và chậm. Những tính chất nói trên không phù hợp cho hệ thống dùng để phân tích Big Data vốn nhắm đến hiệu năng cao, tận dụng hạ tầng thông dụng và chi phí thấp. Ngoài ra, việc phân tích Big Data cũng cần phải được áp dụng theo thời gian thực hoặc cận thời gian thực, thế nên độ trễ cần phải được loại bỏ bất kì khi nào và bất kì nơi nào có thể.

Kết quả (Anh) 1:

2. Some information about Big Data currentlyAccording to Intel documents in September 2013, currently the world are creating 1 petabyte of data every 10 seconds and it is equivalent to a 13-year-long HD video. The company, the business also owns Big Data of their own, such as the eBay online sales page then use two data centers with a capacity of up to 40 petabyte to contain those queries, search engines, recommending to the customer as well as information about his cargo.The online retailer Amazon.com to handle millions of daily activities as well as requests from about half-million sales partners. Amazon uses a Linux system and in 2005, they each own the three biggest Linux database in the world with a capacity of 7, work with, 18, 24, and 5TB 7TB.Similarly, Facebook must also manage 50 billion shots from users who upload to YouTube, or Google to save most of the weekly query and the user's video and many types of other related information.Also under the SAS group, we have a few interesting statistics about Big Data as follows:The RFID system (a form of short-range connections, such as the NFC but has more range and is also used in the opening tag of the hotel) to create the amount of data is greater than 1,000 times compared to traditional VAC codeWithin 4 hours of the day "Black Friday" 2012, Walmart stores had to handle more than 10 million cash transaction, i.e. account 5,000 interface per second.UPS courier service receives approximately 39.5 million requests from his customers every dayVISA service handles over 172,800,000 card transactions only within a day.On Twitter there are 500 million new tweet stream every day, Facebook had 1.15 billion members created a huge tangle of text data, files, videos ...3. The technology used in Big DataBig Data is growing demand large that Software AG, Oracle, IBM, Microsoft, SAP, EMC, HP, and Dell has spent more than 15 billion DOLLARS to companies specializing in data analysis and management. In 2010, the Big industry Data worth more than 100 billion dollars and is growing fast with a speed of 10% per year, twice the total software industry in General.As said above, Big Data need to harness information technologies is very special because of the huge and complex nature of it. In 2011, the Group proposed the McKinsey analysis technology that can be used with Big Data include crowsourcing (leverage resources from multiple computing devices worldwide to jointly handle the data), the gene and genetic algorithms, machine learning methods (note only the system has the ability to learn from the data , a branch of artificial intelligence), natural language processing (like Siri or Google Voice Search, but more advanced), signal processing, simulation, time series analysis, modeling, strong server combined together. ... This technique is very complicated so we're not going to say about them.In addition, the database supports parallel data processing, applications based on active search operations, file system form discrete, cloud systems (including applications, computational resources as well as the storage space) and the Internet itself is also effective tools for research and extract information from "big data". Currently there are also database relation (table) format capable of petabyte data rows, they contain can also upload, manage, backup and optimization using Big Data.Those who work with Big Data often see them feeling uncomfortable with the data storage system for slow speed, so they prefer the kind of drives can store attached directly to your computer (as well as the hard drive mounted in our computers so). That drive may be the SSD SATA disks for the storage grid is located in a large size. These people look to NAS or SAN network storage system with the perspective that these things are too complicated, expensive and slow. The above properties are not suitable for systems used to analyze Big Data which is targeted at high-performance, leverage common infrastructure and low cost. In addition, the analysis of Big Data also need to be applied in real time or real time access, so the latency need to be removed any time and anywhere possible.

Kết quả (Anh) 2:

2. Some information about Big Data current situation According to Intel in January 9/2013, the world today is creating 1 petabyte of data every 11 seconds and it is equivalent to a 13-year HD video . The company itself, now also owns his own Big Data, such as online sales site eBay, the use of two data centers with up to 40 petabytes of capacity to contain the query, search , recommended to customers as well as information about its products. the online retailer Amazon.com, they must handle millions of daily activities as well as requests from about half a million sales partners. Amazon uses a Linux system, and in 2005, they used to own three major Linux database in the world with a capacity of 7,8TB, 18,5TB and 24,7TB. Similarly, Facebook also must manage 50 billion photos uploaded from users, YouTube or Google, they must save every query and turn a user's video and other types of relevant information. Now the SAS Group, we have a few figures interesting about big data is as follows: The RFID system (a type of short range connectivity, like NFC, but have a range of things beyond and also used in hotel key cards), generate large amounts of data over 1,000 times the traditional cauldron code only within 4 hours of the day "Black Friday" in 2012, Walmart stores had to handle more than 10 million cash transactions, ie 5,000 accounts per second interface. Service delivery UPS received approximately 39.5 million requests from our customers every day Service processed more than 172.8 million VISA card transaction within one day only on Twitter has 500 million daily new tweet, Facebook, you 1 , 15 members who create a huge tangle of text data, files, videos ... 3. Technology used in Big Data Big Data is growing demand was so great that Software AG, Oracle, IBM, Microsoft, SAP, EMC, HP, and Dell has spent more than $ 15 billion for the company that specializes in management and analysis data. In 2010, the Big Data industry worth more than $ 100 billion and growing at a rate of 10% per year, twice as fast as total software industry in general. As noted above, the need for Big Data exploiting information technology very special due to the enormous and its complexity. In 2011, the group proposed the McKinsey analysis technology can be used with Big Data includes crowsourcing (leverage resources from multiple computing devices to work together on global data processing), genetic algorithms and genetic, machine learning methods (the only systems capable of learning from data, a branch of artificial intelligence), natural language processing (like Siri or Google Voice Search, but higher more level), signal processing, simulation, time series analysis, modeling, combining powerful servers together .... these techniques are complex, so we do not talk about them deeply . in addition, the database supports parallel data processing, application works on search activity, form discrete file system, the cloud computing system (including applications and resources calculation and storage space) and the Internet itself are also an effective tool to serve the research and extract information from "big data". Currently there are some database in the form of relations (tables) capable of containing petabytes of data, they can also download, manage, backup and optimize Big Data using anymore. People do Big data works with often feel uncomfortable with the data storage system as slow, so they prefer the storage media that can mount directly to the computer (as well as a hard drive in your computer we do). It may be a SSD drive to the SATA disk storage in a large grid. These people are looking at NAS drive or network storage SAN systems with the perspective that these things too complex, expensive and slow. The aforementioned properties are not suitable for the system used to analyze Big Data targeting high-performance capital, leverage common infrastructure and low cost. In addition, the analysis of Big Data will also need to be applied in real time or near real time, so the delay should be eliminated whenever and wherever possible.