資料流程工程師 - QSearch｜Meet.jobs

職務內容

• 管理自建之 SQL 資料庫、搜尋引擎
• 規劃與管理排程引擎如 Airflow 或 Cloud Scheduler
• 運用 Google Cloud Logging 監測資料流穩定度
• 評估資料流所需成本
• 優化資料處理效率
• 依客戶需求匯出特定欄位資料

條件要求 Requirement

• 熟悉 SQL 資料庫系統語法
• 有任一建置資料處理串流經驗（建置處理串流經驗曾運用 Spark、BigQuery、Google Dataflow 或 Google Dataproc...）等ETL Data Pipeline。
• 具備基本用 python 程式能力上述資料處理串流能力與 File IO
• 具備基本數據分析經驗（得用 python 對資料做基本統計），確保資料串流過程中，系統狀態正常，並回報資料來源不正常運作可能性。
• 熟悉使用 Git 使用
• 熟悉 NoSQL、RDB 關聯式資料庫運用場景
• 熟悉資料結構與演算法

加分條件：

• 具備轉寫與執行 Test 經驗
• 具備資料串流 logging 經驗者佳
• 具備資料權限管理經驗者佳
• 具備雲端服務 AWS/GCP/Azure 使用經驗
• 具備分散式系統使用經驗