Data Engineer
תיאור המשרה: • פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Apache Nifi ו Spark Apache- • עבודה עם Apache Flink לפיתוח תהליכי עיבוד נתונים בזמן אמת • ניהול, עיבוד וטיוב נתונים באמצעות ElasticSearch • כתיבת שאילתות מורכבות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוניים • פיתוח פתרונות דאטה וכתיבת קוד ב Python • עבודה צמודה עם צוותי Science Data ,BI ופיתוח מערכות מידע בארגון. דרישות המשרה: ניסיון של +3 שנים כEngineer Data- תוך עבודה משמעותית באחד או יותר מהשירותים הבאים: Apache Spark o NiFi Apache o Flink Apache o • ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית Flows Data • הבנה בארכיטקטורת נתונים ותשתיות Data Big כולל אתגרים ופתרונות • שליטה מלאה ב -SQL יתרון משמעותי לניסיון בסביבות השפות והכלים: Aggregation Pipelines וכתיבת MongoDB • • כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים • שירותי Cloudera בסביבת CDP Kafka • • מודולי AI ותהליך שילובם בפתרונות דאטה • הכרות עם פיתוח לעולם ה Services-Micro בכלל ו OpenShift בפרט • עבודה עם כלי ניהול תצורה בפיתוח