Apache Spark, Kafka, & Flink Showcase Innovation з Hadoop for "Великі дані" Програми

Фонд програмного забезпечення Apache є однією з найстаріших і найповажніших організацій, що керують програмним забезпеченням з відкритим кодом, керуючись масовим впровадженням в Інтернет веб-серверів Apache HTTP протягом останніх 20 років. Фонд програмного забезпечення Apache був заснований програмістами оригінальної платформи веб-серверів у 1999 році з більш широкою місією щодо підтримки розробки безкоштовних програмних програм з відкритим кодом та їх спільнот для побудови веб-стандартів наступного покоління. Ліцензія Apache схожа на GNU GPL, MIT, & Ліцензії на програмне забезпечення BSD для публікації відкритого коду, які можуть використовуватись, копіювати, змінювати, клонувати та перепродавати іншими розробниками чи компаніями без обмежень, крім постійної відкритості & атрибуція. Наразі в екосистемі Apache Software Foundation розробляється понад 300 проектів, до складу яких входить команда лабораторій, інкубаторів, горища та інфраструктури. Деякі з поточних проектів ASF, які мають тенденцію до ширшого впровадження галузі у 2017 році, – Apache Spark, Kafka, & Flink, кожен аспект реалізації CQRS по-новому оптимізує реактивні потоки даних у архітектурі хмарної платформи для підтримки веб-додатків нового покоління.


Інновації Apache Spark, Kafka та Flink Showcase Innovation з Hadoop for

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

Широке впровадження в галузь хостингу Apache HTTP Server для веб-хостингу, яке може працювати на обох Linux & Операційні системи Windows однаковою мірою включають встановлення Apache на мільйонах веб-серверів, де широко поширений огляд вихідного коду серед експертів-програмістів в академічній, урядовій, & бізнес-організації підприємства зосередилися на безпеці даних та оптимізації продуктивності обладнання. Нещодавнє повідомлення в блозі від IBM, в якому обговорювались "що насправді означає відкритий код" включив основний акцент на постійний внесок компанії в проекти в екосистемі Apache, такі як Apache Atlas, HBase, Ambari, Spark, Kafka, Knox, & Flink для аналітики хмарних даних.

З 300+ проектів, що розробляються ASF, лише 8,8% пов’язані з мережевими серверами, ще 8,6% "великі дані" додатки. Каркаси та бази даних для веб-розробки складають близько 7% від загальної кількості проектів ASF. Хоча використовується на більш ніж 80% усіх веб-сайтів, PHP не є однією з основних мов програмування, що зустрічається в більшості кодів, опублікованих під ліцензією Apache. Приблизно 60% – це код Java, з C, Python, C ++, JavaScript, Scala, C #, & Perl також популярні стандарти. Для відстеження різних проектів FOSS, опублікованих під ліцензією Apache, індекс батареї цікавий, і Dataformation зібрав дослідження для створення "остаточний список" понад 1250 FOSS-проектів в рамках поточного активного розвитку в широкому діапазоні секторів (включаючи Apache, GPL, MIT, BSD, & інші ліцензії на програмне забезпечення).

Деякі з актуальних проектів, організованих в рамках програмного фонду Apache Software, є:

  • Сервер Apache HTTP – найпопулярніше програмне забезпечення для веб-серверів у світі
  • Apache Tomcat – платформа веб-сервера для Java Servlet & Програми WebSocket
  • Apache Hadoop – масштабована, розподілена обчислювальна платформа за допомогою MapReduce
  • Apache Cassandra – масштабована, багатокластерна база даних для використання з Hadoop
  • Апаче іскра – забезпечує двигун обчислень для Hadoop з машинним навчанням & графіки
  • Апач Кафка – розподілена потокова платформа для трубопроводів даних з горизонтальним масштабом
  • Apache HBase – нова база даних для Hadoop, оптимізована для масштабу до мільярдів таблиць
  • Apache Flink – структура потоку даних для пакетної обробки в кластерах 1000+ вузлів
  • Апач Атлас – керування даними та мета-рамка семантичної таксономії для Hadoop
  • Apache Knox – API відпочинку & шлюз веб-додатків для серверів Hadoop
  • Апач Амбарі – забезпечення, монітор, & керуйте кластерами Hadoop за допомогою інструментів Ambari
  • Люцена / Солр – включає ядро ​​пошуку Java з XML / HTTP & API JSON / Python / Ruby
  • CouchDB – унікальний протокол бази даних для реплікації & синхронізація між кластерами в масштабі
  • Apache Mesos – структура хмарної оркестрації для масштабування еластичних віртуальних машин
  • CloudStack – хмарна система управління даними, подарована Apache від підприємства
  • SpamAssassin – розширена фільтрація проти спаму для електронної пошти з можливостями машинного навчання
  • Підрив / Maven – галузевий стандарт управління версіями & програмне забезпечення для управління проектами
  • OpenOffice – Набір програмного забезпечення для обробки текстів, електронних таблиць та настільних видань
  • Апач Кордова – набір інструментів для розвитку мобільних додатків на різних платформах
  • Хвиля – сумнозвісна платформа Google Wave, подарована ліцензіям Apache для розробників

Одним з найцікавіших аспектів екосистеми Apache Software Foundation є те, що вона дозволяє ІТ-спеціалістам спільно працювати над інфраструктурним програмним забезпеченням, яке будує міжплатформенні стандарти на ринку веб-хостингу. Найсучасніші нові проекти розвиваються з підрозділів Apache Inkubator and Labs під час колективної роботи розподілених міжнародних команд програмування, тоді як застарілі корпоративні стандарти, такі як Java та Wave, підтримуються під ліцензією Apache, що просувається до горища. Платформа Hadoop інтегрує ряд нових проектів Apache в рамках єдиної сумісної рамки, оскільки галузеві стандарти еластичних обчислень для веб-серверів та баз даних кластерів розвиваються.

Фонд програмного забезпечення Apache також контролює розробку ряду важливих утиліт програмування, таких як Subversion для контролю версій та Maven для управління проектами, а також OpenOffice, який є повноцінним набором текстових програм, електронних таблиць та видавничих наборів, що копіює функціональність Microsoft Office на Основи FOSS. Apache Mesos і CloudStack надають аналогічні функції, як OpenStack, де кожна платформа пропонує різні інструменти для віртуалізації, спрямовані на адміністрування приватних хмарних мереж, гібридну хмарну оркестрацію та управління центром обробки даних. SpamAssassin пропонується у більшості встановлень cPanel зараз і дозволяє застосовувати машинне навчання для поліпшення фільтрів проти спаму на вхідній пошті. Apache Solr & Луцен стали популярними як альтернативні рамки пошуку для Drupal. Apache Spark, Kafka, & Flink все сильно в тренді у спільноті DevOps з новим прийняттям у корпоративних додатках для оптимізації широкомасштабної електронної комерції & веб-сайти соціальних мереж.

Cloudera – "Що таке Apache Spark?" (2015 р.)

Хмарне програмне забезпечення з відкритим кодом – "Майк Олсон, головний керівник стратегії та співзасновник компанії Cloudera, пропонує огляд Apache Spark, його зростання популярності у спільноті з відкритим кодом та те, як Spark грунтується на заміну MapReduce як загального процесора обробки в Hadoop." Вивчайте більше.

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

CQRS з використанням подій – "З моделлю на основі CQRS та подій на основі подій інтеграція продумана з самого першого випадку використання. Сторона читання повинна інтегрувати і представляти те, що відбувається на стороні запису, це точка інтеграції." Дізнайтеся більше про CQRS.


CQRS: Розподіл відповідальності за запити команд

Сегрегація відповідальності за запити команд (CQRS) працює як засіб оптимізації бази даних, коли замість того, щоб вимагати від веб-сервера конкретно визначати, чи є вхідний запит операцією читання (команди) або запису (запиту), ці відмінності спеціально робляться заздалегідь як частина код платформи бази даних. Це призводить до більш ефективної обробки баз даних в масштабі для додатків “великих даних” та кращого кешування в пам’яті для великих веб-сайтів з багатьма одночасними користувачами. CQRS також відкриває можливості для потокової передачі даних та обробки подій в електронній комерції, які є інтенсивними базами даних для відстеження кількох змінних для великих спільнот користувачів у режимі реального часу, таких як Amazon.com, eBay або Uber. Оптимізація баз даних за допомогою CQRS в масштабі призводить до розробки нової категорії хмарних веб-серверів, створених навколо Apache Spark, Kafka, & Погляньте на платформу Hadoop.

  • Апаче іскра – включає в себе менеджери кластерів веб-серверів для синхронізації процесів CQRS
  • Апач Кафка – пропонує менеджер подій для потоків даних CQRS з інтерактивними запитами
  • Apache Flink – застосовує аналітику даних до потоків Kafka для управління ресурсами архітектури

CQRS використовується на великих веб-сайтах електронної комерції для надання зворотного зв’язку в реальному часі з клієнтами, де аналіз продажів, товарно-матеріальних цінностей, доставки, знижок та протидії шахрайству повинен надаватися індивідуально для кожного замовлення на основі локальних параметрів у масштабі. CQRS також відкриває засоби відстеження та зв’язку інтересів пошуку клієнтів або перегляду моделей із попередньою збереженою історією за допомогою алгоритмів машинного навчання. Таким чином, Hadoop Apache, Cassandra, Kafka, Spark, & Рамки Flink можуть бути встановлені разом в архітектурі стека для програмування нового покоління програмного забезпечення корпоративного програмного забезпечення.
Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

Апаче іскра – "Зокрема, для запуску на кластері SparkContext може підключатися до декількох типів менеджерів кластерів (або Spark’s власний окремий менеджер кластерів, Mesos або YARN), який розподіляє ресурси між додатками." Дізнайтеся більше про Apache Spark.
Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation
Апач Кафка – Apache Kafka має швидку, масштабовану, довговічну, & високодоступна система шин повідомлень для розподілених копій журналів, що призводить до кращого кешування бази даних & повторна обробка відповідей для великих багатокористувацьких веб-сайтів з багатьма часто оновлюваними індивідуальними змінними. Служба журналу фіксування включає синхронізацію розділів між декількома одночасними версіями бази даних із часовою позначкою & значення атрибутів для поліпшення обробки & аналітика потоків даних у реальному часі в електронній комерції.

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

Apache Flink – "Apache Flink – це рамка обробки потоку з відкритим кодом для розподілених, високопродуктивних, завжди доступних та точних програм потокового передавання даних.." Дізнайтеся більше про Apache Flink.

Основні: "Реактивна Кафка" (2017)

Реактивні потоки – "Apache Kafka – це розподілена, масштабована, високопропускна шина обміну повідомленнями. За останні кілька років Kafka стала ключовим складовим елементом для широкомасштабних розподілених програм. Як шина повідомлень високої продуктивності, Kafka дозволяє розробляти розподілені програми за допомогою архітектури мікросервісів." Дізнайтеся більше про Apache Kafka.

Google Trends – Проекти фонду Apache Software

Ці діаграми містять зведені дані від Google Trends для оцінки популярності різних проектів, що розробляються програмним фондом Apache:

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

Рамки бази даних – "Apache Hadoop & Кассандра значно популярніші, ніж Apache Tomcat, хоча їх мало & зниження інтересу до рамок CouchDB." Проекти баз даних Apache.

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

Програми CQRS – "Apache Spark та Kafka демонструють зростання останніх інтересів приблизно на 25% -30% від загальної пошукової активності для програмного забезпечення Apache HTTPS Server." Apache Spark, Kafka, & Flink Проекти.

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

"Великі дані" Пошукові платформи – "Lucene – це один із найпопулярніших проектів у програмі Apache Software Foundation, який займає приблизно 3-4 рази в порівнянні з CloudStack." Пошукові платформи Apache.

Тенденції розвитку програмного забезпечення в екосистемі Apache Software Foundation

Безкоштовне програмне забезпечення з відкритим кодом (FOSS) – "OpenOffice, Subversion, & Maven – один із найвідоміших проектів загалом в екосистемі Apache." Порівняйте тенденції OpenOffice, Subversion, & Мейвен.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me