Data engineer

פורסם בתאריך: 23.08.26    מספר משרה: 41705
לוד
תחום: Data Analyst

תיאור המשרה
דרוש Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem

דרישות המשרה

  • ניסיון של לפחות 3 שנים כ Data engineer - חובה
  • ניסיון של 3 שנים של עבודה עם שפות  Object-Oriented Programming (OOP)
  • ניסיון של 3 שנים עם Python - חובה
  • ניסיון מעשי עם Spark עבור Large scale data - חובה
  • ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – יתרון משמעותי
  • הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
  • הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
  • ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
  • ניסיון של כלי data pipelines כמו airflow, Kubeflow
  • תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה - חובה
  • הבנה של מושגים ותהליכים בתחום machine learning
הכרות עם פתרונות GenAI / prompt engineering – יתרון

דגשים נוספים מטעם היחידה מקצועית:
  1. ניסיון ב-AWS
    שירותים מרכזיים – glue, step function, lambda, sqs \ sns.
    יתרון משמעותי – הכירות עם redshift  ו-kafka, עבודה עם APIs
    אפשר לשקול אולי מועמדים איכותיים עם ניסיון בשירותים אחרים, אבל מי שלא עבד בסביבת AWS [או סביבת ענן] כלשהי – לא רלוונטי.
  2. ניסיון רב בכתיבת קוד פונקציונלי ב-python ותהליכי ETL מורכבים, כולל הקמת תשתיות / תבניות גנריות לניהול תהליכי ETL.  
    במילים אחרות – לא רק כתיבת תהליכי ETL / ELT, אלא גם כתיבת תהליכים תומכים כגון בקרות, ניהול גנרי של תהליכים, עבודה עם פרמטרים וכו'
  3. ניסיון בפריסת שירותים – יתרון משמעותי. ניסיון בפריסת מודלים ב-sagemaker – יתרון משמעותי מאוד.
  4. ניסיון בכתיבת micro services – יתרון משמעותי