Kết nối Qlik với nguồn dữ liệu (P2)

Trong bài viết trước, mình đã giới thiệu file và webfile connector được tích hợp sẵn trong Qlik Engine. File connector nhìn chung là đủ để làm việc với các nguồn dữ liệu dạng file. Tuy nhiên, phần lớn các hệ thống thông tin hiện đại thường lưu trữ dữ liệu trong các cấu trúc phức tạp hơn như database. Các hệ thống nghiệp vụ cũng ít khi cho phần mềm của bên thứ 3 truy xuất trực tiếp data file của mình vì các lý do bảo mật và tính hiệu quả của kết nối dữ liệu. Thay vào đó, các hệ thống này thường cung cấp các API chuyên dụng cho phép trao đổi dữ liệu với các ứng dụng khác.

Để kết nối với API của nguồn dữ liệu, Qlik cần phải sử dụng data connector tương ứng với nguồn dữ liệu đó. Phần 2 của bài viết sẽ tiếp tục trình bày khái quát các data connector ngoài Qlik Engine.

Data connector ngoài Qlik Engine

Khi cần kết nối với một nguồn dữ liệu mà Qlik Engine không thể đọc trực tiếp, Qlik Engine sẽ kích hoạt module QvConnect như một process độc lập. QvConnect đóng vai trò là một data interface duy nhất giữa Qlik Engine với các data connector khác nhau. Có 2 module là QVConnect32 và QVConnect64 để xử lý các connector 32 và 64 bit. Ví dụ với Qlik Sense Desktop, bạn có thể tìm thấy exe file của 2 module này trong folder C:\Users\<username>\AppData\Local\Programs\Qlik\Sense\Engine

Data connector là thành phần độc lập với Qlik Engine, nhưng cài đặt mặc định của Qlik Sense đã bao gồm khá nhiều connector đến các data source phổ biến. Một số connector không được cài đặt mặc định, nhưng có thể tải về và cài đặt từ Qlik dowload. Về mặt thương mại, đa số connector là miễn phí. Tuy nhiên, connector đến các hệ thống phức tạp như SAP, Sharepoint hoặc Google Analytics đòi hỏi phải mua thêm license.

Các data connector mặc định trong Qlik Sense

Phần sau đây tóm tắt các nhóm data connector phổ biến trong Qlik. Trong phạm vi có hạn của bài viết, mình chỉ trình bày sơ lược về connector, công dụng, nguồn dữ liệu tương ứng và thông tin về license. Chi tiết về từng connector sẽ được trình bày thêm ở các bài viết trong tương lai.

ODBC

ODBC connection kết nối với database thông qua các ODBC (Open Database Connectivity) driver do nhà sản xuất database cung cấp. Để sử dụng ODBC connection, bạn cần cài đặt ODBC driver tương ứng lên máy tính cài QlikView hoặc Qlik Sense. Hầu hết các database phổ biến hiện nay đều cung cấp ODBC driver phục vụ nhu cầu tích hợp dữ liệu.

OLE DB

Tương tự như ODBC, connection này kết nối với database bằng công nghệ OLE DB (Object Linking Embedding Database). Cần cài dặt OLE DB provider do nhà sản xuất database cung cấp. Sử dụng cho bất cứ database nào hỗ trợ OLE DB interface, ví dụ như SQL Server hoặc Oracle.

Qlik ODBC Connector Package

Là một tập hợp các ODBC driver do Qlik đóng gói và cung cấp, Qlik ODBC Connector Package giúp nhanh chóng kết nối với các database phổ biến mà không cần phải cài đặt ODBC driver do nhà sản xuất cung cấp.  Package này được đóng gói sẵn trong cài đặt mặc định của Qlik Sense. Với QlikView, bạn có thể tải ODBC Connector Package từ Qlik dowload và sử dụng miễn phí. Bài viết chi tiết về Qlik ODBC Connector Package: Load dữ liệu từ database với Qlik ODBC Connector Package

REST connector

Rất nhiều nguồn dữ liệu web hỗ trợ kết nối dữ liệu qua web API, ví dụ như Facebook Graph API. REST connector trong Qlik load dữ liệu từ các RESTful web service. REST connector hỗ trợ lấy dữ liệu bằng 2 phương thức GET và POST của giao thức HTTP.

Webfile connection trong bài viết trước cũng có thể xem là một REST connection cơ bản với phương thức GET. So với Webfile, REST connector hỗ trợ nhiều tính năng nâng cao như:

  • Hỗ trợ phương thức POST
  • Xác thực (authenticate) với nguồn dữ liệu bằng username-password, session key và NTLM (Windows Authentication)
  • Cho phép thêm các tham số (parameters) vào HTTP request
  • Chia nhỏ dữ liệu tải về thành nhiều gói (pagination) để đảm bảo hiệu quả truyền nhận dữ liệu.

SAP connector

Qlik SAP Connector hỗ trợ nhiểu phương thức đọc dữ liệu từ SAP ERP, SAP BW hoặc HANA. Tùy theo môi trường triển khai SAP và yêu cầu cụ thể, người dùng có thể sử dụng SAP Connector để liên kết với các thành phần khác nhau trong SAP như SAP Reports, SAP Queries, SAP Extractors, BEx Queries, DSO/ODS Objects, BAPI, SAP SQL, v.v.

Để sử dụng SAP connector, bạn cần phải cài đặt một số transport đặc biệt đươc cung cấp bởi Qlik lên SAP system. Là một trong những connector phức tạp nhất của Qlik, SAP Connector cần phải mua license để sử dụng.

Qlik Web Connectors

Qlik Web Connectors là một tập hợp các connector cho phép nhanh chóng kết nối với mạng xã hội và các nguồn dữ liệu web. Phần lớn các nguồn dữ liệu web đều có thể kết nối với Qlik bằng REST connector, tuy nhiên bạn phải hiểu rõ về các API function mà nguồn dữ liệu đó cung cấp, cũng như cách thức authenticate với nguồn dữ liệu. Qlik Web Connectors đơn giản hóa công việc này bằng cách hiện thực sẵn các công đoạn lập trình. Bạn chỉ cần nhập thông tin xác thực và chọn dữ liệu cần đọc, Qlik Web Connectors sẽ tạo ra một đoạn script mà bạn có thể dùng trong reload script và tải dữ liệu về.

Qlik Web Connectors được triển khai như một web service mà bạn có thể cài đặt trên cùng server với QlikView/ Qlik Sense, hoặc một server riêng trong mạng nội bộ. QlikView và Qlik Sense giao tiếp với Qlik Web Connectors bằng một web file connection đơn giản.

Về mặt thương mại, Qlik Web Connectors hiện cung cấp gần 50 connector khác nhau, chia làm 2 loại:

  • Standard connectors: Không cần license, có thể tải miễn phí Qlik Web Connectors từ Qlik download và sử dụng ngay các connector này. Một số connector tiêu biểu trong nhóm:
    • Qlik Amazon S3 Connector
    • Qlik Google Drive & Spreadsheets Connector
    • Qlik OneDrive Connector
  • Premium connectors: Cần phải có license để kích hoạt. Một số connector tiêu biểu trong nhóm:
    • Qlik Facebook Insights Connector
    • Qlik Google Analytics Connector
    • Qlik Office 365 Sharepoint Connector
    • Qlik Twitter Connector
    • Qlik YouTube Analytics Connector

Qlik DataMarket connector

Ngoài các giải pháp phần mềm như QlikView, Qlik Sense hay NPrinting, Qlik cũng cung cấp Data Market như một sản phẩm độc lập. Data Market tổng hợp nhiều nguồn dữ liệu về địa lý, nhân khẩu học, chứng khoán, tài chính, thời tiết, y tế, v.v. Dữ liệu trên Data Market được lấy từ các nguồn xác thực như Ngân hàng thế giới hoặc sàn giao dịch chứng khoán các nước.

Data Market được triển khai trên cloud riêng của Qlik. Người dùng có thể tải dữ liệu bằng DataMarket connector có sẵn trong Qlik Sense. Bản thân connector là miễn phí, nhưng bạn cần phải subscribe và mua license để có thể truy xuất các gói dữ liệu premium.

Bạn có thể đọc thêm bài viết chi tiết về Qlik DataMarket: Học Qlik Sense qua ví dụ: Phân tích dân số và kinh tế thế giới (P1)

Salesforce connector

Salesforce là phần mềm quản lý khách hàng (CRM) phổ biến nhất hiện nay, được triển khai như một giải pháp cloud computing. Salesforce connector hỗ trợ tải dữ liệu từ các data set trên salesforce.com vào Qlik app. Người sử dụng cần có tài khoản trên Salesforce cùng với thông tin đăng nhập tương ứng, bao gồm user name, password và security token.

Salesforce connector sử dụng 2 phương thức sau để kết nối với Salesforce:

  • SOAP API: Tối ưu hóa cho việc load dữ liệu nhỏ, ít record mỗi lần. Hỗ trợ các truy vấn thực hiện ở phía Salesforce để tổng hợp (aggregate) và gom nhóm (grouping) dữ liệu tải về.
  • BULK API: Thích hợp để tải các data set lớn từ Salesforce. Không hỗ trợ tổng hợp và gom nhóm dữ liệu

Essbase connector

Essbase connector hỗ trợ đọc dữ liệu từ hệ thống Oracle Essbase/ Hyperion. Essbase connector sử dụng dịch vụ XML for Analysis (XMLA) để lấy dữ liệu từ Essbase cubes. XMLA service thực chất là SOAP service sử dụng định dạng XMLA để giao tiếp giữa các hệ thống.

Essbase connector cũng được tích hợp sẵn trong cài đặt mặc định của Qlik Sense.

Kết luận

Để kết thúc bài viết, bảng sau đây tóm tắt lại các kết nối dữ liệu ngoài Qlik Engine, nguồn dữ liệu tương ứng, cài đặt mặc định trong QlikView/ Qlik Sense và thông tin về license.

Connector Nguồn dữ liệu Có sẵn trong cài đặt mặc định Cần mua License
QlikView Qlik Sense
ODBC Database hỗ trợ ODBC Không
OLE DB Database hỗ trợ OLE DB Không
Qlik ODBC Connector Package Một số database phổ biến Không Không
REST connector RESTful web APIs Không Không
SAP connector SAP ERP, SAP BW hoặc HANA Không Không
Qlik Web Connectors Mạng xã hội và các nguồn dữ liệu web Không Không Standard connectors: Không
Premium connectors: Có
Qlik DataMarket connector Qlik Data Market Không Free data packages: Không
Premium data packages: Có
Salesforce connector salesforce.com Không Không
Essbase connector Oracle Essbase/ Hyperion Không Không