Вода, фільтри та дані: Як Remote Engines змінюють правила гри у світі інтеграції
.
Автор: Ліла от, Гарт
Уявіть собі світ, де дані не обмежені однією зручною локацією, приблизно так. Де вони розкидані між різними хмарами, серверами та пристроями. Уявили? Ну, тоді ласкаво просимо у сучасний гібридний світ даних. Але як зібрати докупи ці розрізнені фрагменти пазлу? Можна спробувати перенести все в одне місце, але це не завжди найефективніший та найбезпечніший шлях. І тут на сцену виходять дистанційні обчислювачі – Remote Engines. Чесно кажучи,
Я почула про них на недавній конференції, де. Експерти пояснювали, як вони змінюють наше розуміння інтеграції даних. Ідея проста, але потужна: замість того, щоб тягти дані до місця обробки, обробка може відбуватися там, де дані вже існують. Пригадуєте, як у дитинстві бабуся розповідала про те, як важливо фільтрувати воду? Більше того, так само й з наприклад, даними – вони потребують “очищення”, але тепер це можна робити ближче до джерела.
Як значить, працює фільтр у вашому помешканні?
Щоб зрозуміти концепцію Remote Engines, давайте звернемось до аналогії, яку використовували доповідачі. Уявіть собі місто та систему водопостачання. Міська влада забезпечує основну обробку води на центральній станції. Але що робити, якщо ви хочете ще більше очистити воду саме у вашій квартирі? Тоді ви слухайте, встановлюєте фільтр, який працює локально, за вашими стінами.
Remote Engines – це як той самий фільтр у вашому помешканні, але для даних. Це обчислювальні ресурси, які ви розгортаєте та керуєте ними у своїх системах – чи то на місці, чи у хмарі. Вони дозволяють запускати завдання з інтеграції та забезпечення якості даних безпосередньо біля місця їхнього розташування.
Розглянемо приклад. Очевидно, ви розгортаєте контейнерну програму, яка працює у вашій площині даних. Це може бути у вашій віртуальній приватній хмарі, у. Локальному центрі обробки даних або в будь-якому хмарному середовищі. Всередині цього контейнера, наприклад, використовуючи Kubernetes, бачите, розташовані так звані “керуючі модулі” (conductor pod), які. Координують та керують вашими завданнями, а також численні “обчислювальні модулі” (compute pods), які безпосередньо виконують роботу.
Чарівність полягає бачите, у розділенні часу розробки та часу виконання. Ви проектуєте свої завдання на централізованій платформі (control plane), але виконання відбувається на Remote Engine (data plane). Тобто, ви якби малюєте план будівництва (в control plane), а потім відправляєте його на будівельний майданчик (data plane), де власне і зводять ваш будинок.
Уявіть собі: у вас є просте завдання ETL (Extract, Transform, Load), де дані з двох джерел об’єднуються в одне, проходять певні перетворення та записуються в цільове місце. control plane керує компіляцією цих завдань, а потім відправляє цю інформацію в data plane, де вона виконується.
Чому це важливо? Зрозуміло, фактично, три ключові переваги
Ця архітектура набуває вирішального значення для сучасних операцій з даними, і на це є три основні причини:
1. Ефективність витрат. Хмарні провайдери стягують плату за вихід трафіку з їхнього середовища (egress fees). Це може складати значні суми, якщо ви щодня переміщуєте мільйони рядків даних, щось на зразок. Remote Engines усувають цю проблему, обробляючи дані в тому самому хмарному середовищі, де вони існують. Це може призвести до значної економії, особливо для застосувань, включаючи застосування правил забезпечення якості даних.
2. Продуктивність. Замість того, щоб переміщувати набори даних мережами, ви можете виконувати завдання інтеграції даних максимально близько до них – так, як вам потрібно. Незалежно від того, чи запускаєте ви одне завдання чи сотні. Тисяч, обчислювальні модулі можуть масштабуватися автоматично, щоб впоратись з робочим навантаженням. Вони можуть збільшуватися (scale up), а потім, коли робота. Завершена, зменшуватись (scale back дивіться, down), залишаючи лише один-два обчислювальних модулі. Робоче навантаження інтелектуально розподіляється між обчислювальними модулями, що забезпечує динамічну обробку для обробки піків робочого навантаження з часом. Очевидно, ви також можете настроювати параметри, які ви керуєте. Для динамічної, ефективної обробки безпосередньо там, де існують ваші дані.
3 тому безпека. Чутливі дані, такі як фінансові записи, медична інформація або конфіденційні дослідження, часто не можуть залишати поточне середовище або місцезнаходження. Remote Engines дозволяють обробляти ці дані без переміщення за. Межами контуру безпеки, оскільки їх можна розгорнути за “файрволом”. Це дає змогу створювати слухайте, безпечні з’єднання з вашими джерелами та цілями, не виводячи дані за межі вашого контролю.
Безпека, вартість та продуктивність – все в одному флаконі
Повертаючись до нашої аналогії з фільтром води, Remote Engines реалізують схожі принципи:
- Безпека: Фільтрування даних відбувається за вашими “стінами”, забезпечуючи захист.
- Вартість: Ви бачите, уникаєте непотрібних витрат на переміщення даних між хмарами.
- Висока продуктивність: Завдяки локальній обробці ви позбавляєтесь “вузьких місць” і прискорюєте процес.
І уявіть собі, найголовніше, ви керуєте всім з єдиної централізованої платформи. Фактично, ви дивіться, розробляєте завдання один раз і запускаєте їх будь-де. Фактично, це як мати універсальний пульт управління для всіх ваших “фільтрів” у різних локаціях.
Як відбувається оновлення?
Ще одне важливе питання – як працює процес оновлення в контексті Remote Engines? Адже, якщо у вас SaaS-рішення, то цим займається. Провайдер, а з Remote Engines потрібно турбуватися самим. Більше того,
Хороша новина полягає в тому, що Remote Engines працюють на базі контейнерів. Тому оновлення виглядає набагато простіше, ніж в традиційній інфраструктурі. Де потрібен простій, складні процедури міграції або повне перебудовування системи. З контейнерами все набагато простіше: ви начебто, просто “зашиваєте” в контейнер нову версію. Запускаєте оновлений образ та conductor здійснює поступовий перехід, мінімізуючи перебої в роботі. Коли все слухайте, запрацює стабільно, старі контейнери просто вимикаються. Тому обробка даних ніколи не припиняється. Насправді,
Це як міняти фільтр у себе вдома, коли вам зручно. Ви контролюєте, коли оновити Remote Engines, не перериваючи роботу.
Розрив шаблону: Гібридний підхід до даних
Remote Engines – це фундаментальний перехід від старої моделі обробки даних (hub-and-spoke) до гібридної схеми, яка враховує особливості зберігання ваших даних. Це дозволяє отримувати оброблені дані точно там, де і коли вам потрібно, зменшуючи витрати та підвищуючи безпеку. Цікаво,
Remote Engines дозволяють:
- Зменшити витрати: шляхом локальної обробки даних та уникнення комісій за трансфер.
- Підвищити продуктивність: завдяки обробці поблизу джерел даних та масштабованості.
- Забезпечити безпеку: обробкою конфіденційних даних за межами контуру безпеки.
- Збільшити гнучкість: бачите, розробляти завдання один раз і запускати їх будь-де.
Отже, як бачимо, Remote Engines – корисний інструмент для тих, хто прагне оптимізувати свої процеси інтеграції даних. Зрозуміло, вони забезпечують гнучкість, продуктивність, безпеку та економію коштів. Як казав один із експертів під час презентації, “майбутнє даних -. За гнучкістю, а Remote Engines – це ключ до цієї гнучкості”.