云工具的增加和需要處理大量原始數據促使市場對數據工程師的需求大增。數據工程師構建數據管道，還是數據基礎架構設計和算法開發的主力。數據工程師對于提高數據對公司的用途至關重要。

為了構建如此豐富的數據基礎架構，數據工程師需要結合不同的編程語言、數據管理工具、數據倉庫以及用于數據處理、數據分析和人工智能/機器學習的全套其他工具。

本文介紹數據工程師用于構建高效數據基礎架構的十大工具。

1. Python

Python是一種流行的通用編程語言，易于學習，已成為數據工程界的事實標準。

由于Python支持多種使用場景，尤其用于構建數據管道，稱得上是編程語言界的瑞士軍刀。數據工程師使用Python編寫ETL框架、API交互、自動化以及數據處理任務(比如調整、聚合和連接不同的數據源)。

簡單的語法和豐富的第三方庫是Python的其他優點。最重要的是，這種編程語言有助于縮短開發時間，因而減少了公司的支出。如今，Python已是超過三分之二的數據工程師招聘崗位中一門必須知道的編程語言。

2. SQL

查詢是所有數據工程師的基礎。SQL(結構化查詢語言)是數據工程師用來創建業務邏輯模型、執行復雜查詢、提取關鍵性能指標以及構建可重用數據結構的關鍵工具之一。

SQL是最重要的工具之一，可以使用查詢和數據轉換技術，幫助訪問、更新、插入、操作和修改數據。

3. PostgreSQL

PostgreSQL是世界上最流行的開源關系數據庫。PostgreSQL受歡迎的眾多原因之一是其活躍的開源社區——它也不是像DBMS或MySQL這些由公司主導的開源工具。

PostgreSQL輕量級、高度靈活、功能強大，使用對象關系模型構建而成。它提供廣泛的內置和用戶定義功能、龐大的數據容量以及可信賴的數據完整性。PostgreSQL專為處理大型數據集而設計，同時提供高容錯性，是數據工程工作流程的理想選擇。

4. MongoDB

MongoDB是流行的NoSQL數據庫。它易于使用，高度靈活，可以大規模存儲和查詢結構化和非結構化數據。NoSQL數據庫(比如MongoDB)因能夠處理非結構化數據而大受歡迎。不像采用僵硬模式的關系數據庫(SQL)，NoSQL數據庫要靈活得多，并以易于理解的簡單形式存儲數據。

分布式鍵值存儲、面向文檔的NoSQL功能和MapReduce計算功能，這些功能使MongoDB成為處理海量數據的上佳選擇。數據工程師常處理大量未處理過的原始數據，使MongoDB成為保留數據功能并支持橫向擴展的典型選擇。

5. Apache Spark

如今的企業了解捕獲數據并使數據在組織內快速可用的重要性。流處理讓您可以實時查詢連續的數據流，包括傳感器數據、網站上的用戶活動、來自物聯網設備的數據及金融交易數據等數據。Apache Spark代表了這樣一種流行的流處理實現。

Apache Spark是一種開源分析引擎，以大規模數據處理功能出名，它支持多種編程語言，包括Java、Scala、R和Python。Spark可以在微批中處理TB級數據流，并使用內存中緩存和經過優化的查詢執行。

6. Apache Kafka

與Apache Spark相似，Apache Kafka是一種開源事件流平臺，可用于數據同步、消息傳遞和實時數據流等應用環境。Apache Kafka因構建ELT管道而流行，并廣泛用作數據收集和提取工具。

Apache Kafka是一種簡單、可靠、可擴展的高性能工具，可以快速將大量數據流式傳輸到目標。

7. Amazon Redshift

在現代數據基礎架構中，數據倉庫不僅限于數據存儲角色。Amazon Redshift是個典例，這是一種完全托管的基于云的數據倉庫，用于大規模存儲和分析數據。

Redshift易于使用標準SQL，跨數據倉庫、操作數據庫和數據湖，查詢和合并大量結構化和半結構化數據。它還使數據工程師可以在數小時內輕松集成新數據源，從而縮短了獲取洞察力的時間。

8. Snowflake

Snowflake是一種流行的基于云的數據倉庫平臺，為企業提供單獨的存儲和計算選項、支持第三方工具和數據克隆等。Snowflake可以輕松地提取、轉換和交付數據以獲取更深入的洞察力，有助于簡化數據工程活動。

有了Snowflake，數據工程師不必擔心管理基礎架構和并發處理等問題，可以專注于其他有價值的活動以交付數據。

9. Amazon Athena

Amazon Athena是一種交互式查詢工具，可幫助您分析存儲在Amazon S3中的非結構化、半結構化和結構化數據。您可以使用Athena，利用標準SQL對結構化和非結構化數據執行臨時查詢。

Athena完全采用無服務器技術，這意味著無需管理或搭建任何基礎架構。使用Athena，您不需要復雜的ETL作業即可將數據準備用于分析。這使數據工程師或擁有SQL技能的任何人都可以輕松地立即分析大型數據集。

10. Apache Airflow

隨著現代數據工作流程中出現多種云工具，管理不同團隊之間的數據并充分發揮數據的潛力變得越來越困難。作業編排和調度工具竭力消除數據孤島、簡化工作流程，并使重復性任務自動化，以便IT部門可以快速高效地行動。Apache Airflow向來是數據工程師們用于編排和調度數據管道的青睞的工具。

Apache Airflow通過高效的任務調度，幫助您構建現代數據管道。它提供了豐富的用戶界面，可以輕松地顯示生產環境中運行的管道、監測進度，并在需要時排查問題。

原文標題：Top 10 Tools for Data Engineers，作者：Savia Lobo

原文地址：https://bigdata.51cto.com/art/202104/660424.htm