ML/MLOps in Data

Ajax Systems — міжнародна технологічна компанія, найбільший в Європі розробник і виробник систем безпеки із можливостями розумного дому. Це ціла екосистема зі 180 пристроїв, мобільних і десктопних застосунків, серверної інфраструктури. Data Engineer приєднається до Data-команди, що займається підготовкою та обробкою даних для машинного навчання та відео аналітики. У цій ролі спеціаліст відповідатиме за розробку і підтримку масштабованих конвеєрів даних, особливо в частині, що стосується задач комп’ютерного зору.  Основні обов’язки: - Проєктування та реалізація end-to-end пайплайнів для збору, збереження, обробки та передачі даних (зображень, анотацій тощо) для тренування та валідації моделей глибокого навчання. - Підготовка та вдосконалення великих датасетів для Computer Vision: очистка даних, аугментація зображень, балансування вибірок, приведення анотацій до потрібного формату. - Налаштування та керування інструментами оркестрації пайплайнів (Dagster, Apache Airflow або аналогічні) для автоматизації ETL/ELT процесів. - Інтеграція з хмарною інфраструктурою (AWS) для зберігання даних (наприклад, Amazon S3) та виконання обчислень; забезпечення ефективної доставки даних у середовище навчання моделей. - Використання фреймворків глибокого навчання (наприклад, PyTorch або TensorFlow) для підготовки та первинного аналізу даних; можливе створення допоміжних скриптів для запуску тестових навчань або обчислення ембеддінгів. - Співпраця з командами машинного навчання та розробниками CV-моделей: забезпечення, щоб дані відповідали вимогам моделей, участь у процесі відлагодження моделей через покращення даних. - Впровадження кращих практик щодо якості даних та версіонування датасетів; моніторинг якості даних на кожному етапі пайплайну. - Співпраця з командою розмітки для забезпечення доставки якісних даних. Необхідні скіли: - Досвід (2+ роки) в галузі Data Engineering або суміжній сфері. Впевнене володіння мовою Python та основними бібліотеками для обробки даних (Pandas, NumPy тощо) та зображень (OpenCV, PIL). - Практичний досвід побудови ETL/ELT конвеєрів обробки даних; вміння працювати з системами оркестрації (Dagster, Apache Airflow або подібні) для автоматизації дата-процесів. - Комп’ютерний зір (CV):  практичний досвід роботи з наборами даних (COCO, YOLO), форматами анотацій і їх конвертацією. розуміння роботи інструменту для розмітки даних. вміння розгорнути готову модель CV (детекція, сегментація, класифікація) з відкритих репозиторіїв чи pre-trained чекпоїнтів, адаптувати під власні дані й інтегрувати в пайплайн; досвід роботи з PyTorch або TensorFlow для fine-tuning, інференсу та підготовки даних; розуміння transfer learning і адаптації архітектур під конкретні задачі. - Трансформери та VLLM, Vision Transformers (ViT): практичний досвід використання сучасних архітектур (ViT, DETR, Segment Anything тощо); робота з VLLM (large vision & language models); застосування для автоматизації обробки даних (генерація додаткової розмітки, валідація анотацій, класифікація чи попередній відбір даних). - Навички оптимізації та відлагодження pipeline: моніторинг, логування, усунення неполадок у процесі обробки даних. - Інструментарій: впевнена робота з системою контролю версій (Git), Docker/Kubernetes, а також базове розуміння MLOps практик MLflow/DVC. Буде плюсом: - Розуміння хмарних технологій, зокрема сервісів AWS для роботи з даними (S3, RDS/Redshift, Lambda, IAM тощо); досвід побудови та підтримки дата-процесів у хмарному середовищі. - Знання SQL та досвід роботи з PostgreSQL; оптимізація запитів, робота з великими масивами даних; базові знання NoSQL або Data Warehouse систем — плюс. Пропонуємо: - можливість пропонувати та реалізовувати власні ідеї, які мають вплив на продукт і виробництво; - роботу у вмотивованій команді та zero bullshit culture; - гнучкий графік роботи в офісі (Київ); - конкурентну заробітну плату; - медичне страхування; - корпоративну англійську мову; Ajax — свобода бути інженером!