Przejdź do treści
Wszystkie artykuły

Sukarix 0.4.0: wydajne kolejki Redis dla rzeczywistych potoków o dużym obciążeniu

autor: Ghazi Triki · 10 min czytania

W tym artykule

Ogłoszenie wydania

Atomowe wykonywanie skryptów Lua, natywna deduplikacja oparta na zbiorach członkostwa, ustrukturyzowana telemetria postępu i ścisłe wstrzykiwanie zależności. Oto jak Sukarix zapewnia możliwości klasy enterprise bez balastu dużego frameworka i jak napędza nasz potok analityki BigBlueButton działający w czasie rzeczywistym.

Przy budowie krytycznych systemów backendowych i potoków strumieniowych działających w czasie rzeczywistym liczy się każda milisekunda i każdy megabajt pamięci RAM. Współczesny PHP stał się potęgą pod względem typowania i szybkości, jednak wiele popularnych frameworków PHP poszło w przeciwnym kierunku: obrosło głębokimi drzewami dziedziczenia, kosztowną refleksją, rozdętymi grafami zależności i wielomegabajtowym narzutem przy starcie, który dławi długo działające procesy CLI.

W RIADVICE budujemy architektury o wysokiej współbieżności dla platform wirtualnych klas, silników analityki w czasie rzeczywistym i systemów równoważenia obciążenia o wysokiej dostępności. Potrzebowaliśmy frameworka, który łączy szybkość i prostotę mikroframeworków ze strukturą klasy enterprise, jakiej wymagają złożone aplikacje biznesowe.

Tym frameworkiem jest Sukarix. Z dumą ogłaszamy dziś wydanie Sukarix 0.4.0, które wprowadza solidny silnik kolejek oparty na Redis, zaprojektowany specjalnie z myślą o wieloetapowych potokach przetwarzania.

Dlaczego Sukarix? Zrodzony z rzeczywistych wyzwań produkcyjnych

Sukarix nie powstał jako ćwiczenie akademickie. Jest bezpośrednim zwieńczeniem lat inżynierii sprawdzonej w boju w środowiskach produkcyjnych o dużym ruchu: obsługi milionów zdarzeń telemetrycznych WebRTC, ciągłych migracji baz danych i kierowania wywołań API przez mocno obciążone reverse proxy.

Sukarix, zbudowany na niezwykle szybkim rdzeniu Fat-Free Framework (F3), zachowuje błyskawiczny routing i minimalne zużycie pamięci F3, a jednocześnie dokłada nowoczesne elementy niezbędne w zastosowaniach enterprise:

  • Nowoczesna architektura PHP 8.4+ i 8.5+: pełne bezpieczeństwo typów, ścisłe typowanie i przejrzysty projekt obiektowy.
  • Wstrzykiwanie zależności (DI) i IoC bez balastu: dynamiczna inicjalizacja procesorów oparta na traitach, bez wąskich gardeł refleksji.
  • Zintegrowane narzędzia produkcyjne: pełnoprawna integracja z Monolog, debugowanie w Tracy, migracje baz danych Phinx i zestaw testowy Statera.
  • Stabilność zamiast ciągłych zmian: aktualizacje wymagają minimalnych zmian, co chroni produkcyjne obciążenia przed przeprojektowaniami API łamiącymi zgodność.
Funkcja / wskaźnikSukarix 0.4.0Ciężkie frameworki (Laravel / Symfony)Podstawowe mikroframeworki
Zużycie pamięci (CLI / web)Bardzo niskie (~2-4 MB)Wysokie (~15-35 MB)Bardzo niskie (~2-3 MB)
Szybkość startu i routinguPoniżej milisekundyWiększy narzut (złożony stos middleware)Poniżej milisekundy
Silnik kolejek dla potokówNatywne atomowe Lua + deduplikacjaOgólna abstrakcja kolejek (duży narzut)Brak (implementacja ręczna)
Narzędzia enterprise (migracje, DI, logi)W zestawie i wstępnie skonfigurowaneW zestawieBrak / wymagane składanie z rozproszonych części
Złożoność grafu zależnościOszczędny, wyselekcjonowane pakiety PSRDziesiątki głębokich zależnościMinimalna

Co nowego w Sukarix 0.4.0: aktualizacja kolejek

Sukarix 0.4.0 wprowadza przestrzeń nazw Sukarix\Queue: dedykowaną, wysokowydajną architekturę kolejek FIFO w Redis, zoptymalizowaną pod wieloetapowe potoki przetwarzania asynchronicznego.

Atomowe wykonywanie Lua i automatyczna deduplikacja

Standardowe kolejki oparte na listach Redis są podatne na wyścigi i zduplikowane wpisy w razie awarii procesów roboczych. Sukarix rozwiązuje ten problem, łącząc listy FIFO w Redis z towarzyszącymi zbiorami śledzącymi członkostwo, obsługiwanymi przez atomowe skrypty Lua w Redis. Dodanie elementu, który już jest w kolejce, automatycznie nie ma żadnego efektu, a proces roboczy przerwany w trakcie operacji nigdy nie pozostawi danych w niespójnym, połowicznym stanie.

Liczniki prób dla każdego elementu, bez narzuconych reguł

Zamiast wymuszać w silniku kolejek sztywne, z góry narzucone limity ponowień czy kolejki martwych komunikatów (dead-letter), Sukarix udostępnia liczniki prób dla każdego elementu w hashach Redis. Logika biznesowa zachowuje pełną swobodę decydowania, czy nieudane zadanie ma zostać ponowione natychmiast, odłożone w czasie, wstrzymane do przeglądu, czy przeniesione do kolejki martwych komunikatów.

Trait HasQueue z inicjalizacją fail-fast

Usługi korzystające z kolejek łatwo wstrzykują tę funkcjonalność za pomocą traitu zachowania HasQueue. Jeśli usługa kolejki nie jest zarejestrowana w injectorze, Sukarix zgłasza czytelny wyjątek \LogicException już przy starcie, co zapobiega trudnym do wykrycia awariom z pustym wskaźnikiem w środowisku produkcyjnym.

Ustrukturyzowany QueueProgressLogger i logowanie w konsoli CLI

Sukarix 0.4.0 dodaje ustrukturyzowane, przetwarzalne maszynowo logowanie zdarzeń cyklu życia kolejki (start, postęp partii, przepustowość i zakończenie). Ładunki są oczyszczane (np. logowane jako array[3]), co gwarantuje, że żadne wrażliwe dane klientów nie trafią do systemów logowania. Ponadto LogWriter oferuje teraz opcjonalne kolorowe logowanie w konsoli do monitorowania procesów roboczych CLI w czasie rzeczywistym.

Przykład kodu: potok procesów roboczych w działaniu

PHP
// Worker implementation with HasQueue trait
namespace App\Workers;

use Sukarix\Behaviours\HasQueue;
use Sukarix\Behaviours\LogWriter;
use Sukarix\Core\Processor;

class EventIngestionWorker
{
    use HasQueue, LogWriter;

    public function __construct()
    {
        Processor::instance()->initialize($this);
    }

    public function consume(): void
    {
        while (null !== ($payload = $this->queueService->popFromQueue('queue.events.pending'))) {
            try {
                $this->processEvent($payload);
                $this->queueService->clearAttempts('queue.events.failed', $payload);
            } catch (\Throwable $e) {
                $attempts = $this->queueService->incrementAttempts('queue.events.failed', $payload);
                $this->logger->error('Failed processing item', ['attempts' => $attempts, 'error' => $e->getMessage()]);
            }
        }
    }
}

W produkcji: napęd potoku czasu rzeczywistego BigBlueButton Analytics

Jak Sukarix 0.4.0 sprawdza się pod rzeczywistym obciążeniem enterprise? Najlepszym przykładem jest platforma BigBlueButton Analytics firmy RIADVICE, nasz silnik analityki BigBlueButton działający w czasie rzeczywistym.

Wielkoskalowe infrastruktury wirtualnych klas generują ogromną ilość szczegółowych danych o zdarzeniach, liczonych w milionach równoczesnych zdarzeń: strumienie audio i wideo WebRTC, dołączanie i opuszczanie spotkań przez uczestników, wiadomości na czacie, interakcje z ankietami, ścieżki rysowania na tablicy, przejścia między slajdami i wiele innych. Niezawodne przyjmowanie tych danych bez opóźnień względem trwających zajęć wymaga bardzo solidnego potoku strumieniowego.

Za kulisami kolejki Redis w Sukarix 0.4.0 koordynują przekształcanie ciężkich strumieni surowych zdarzeń w ustrukturyzowane zbiory danych przechowywane w bazie szeregów czasowych, a pulpity udostępniane są przez Apache Superset. Potok bezpośrednio korzysta z:

  • Braku zduplikowanych danych: deduplikacja oparta na członkostwie zapobiega podwójnemu liczeniu metryk, gdy serwery wysyłają nadmiarowe impulsy synchronizacji.
  • Natychmiastowego odtwarzania procesów roboczych: atomowe transakcje Redis gwarantują, że restarty procesów roboczych ani skalowanie węzłów nigdy nie uszkodzą indeksów kolejek ani nie spowodują utraty zdarzeń ze spotkań.
  • Ogromnej oszczędności zasobów: ponieważ procesy robocze CLI w Sukarix zużywają ułamek pamięci RAM potrzebnej alternatywnym frameworkom, dziesiątki równoległych procesów obsługujących kolejki działają bez problemu na niewielkich maszynach wirtualnych.
  • Obserwowalności pod dużym obciążeniem: ustrukturyzowany QueueProgressLogger zapewnia natychmiastowy wgląd w przepustowość procesów roboczych, ukończenie partii i diagnostykę błędów bezpośrednio w systemach zbierania logów.

Skalowanie infrastruktury BigBlueButton z RIADVICE

Niezależnie od tego, czy potrzebują Państwo gotowych pulpitów BigBlueButton Analytics działających w czasie rzeczywistym dla swojej uczelni lub organizacji, wydajnych potoków przetwarzania danych na zamówienie, czy doradztwa architektonicznego dla dużych klastrów BigBlueButton, RIADVICE chętnie pomoże.

Umów prezentację lub konsultację

Aktualizacja do Sukarix 0.4.0

Sukarix 0.4.0 wyłącznie dodaje nowe elementy i nie wprowadza żadnych zmian łamiących zgodność w istniejących aplikacjach. Jeśli korzystają Państwo z Sukarix 0.3.x na PHP 8.4+, mogą Państwo od razu przeprowadzić aktualizację przez Composer:

composer update sukarix/sukarix

Pełne informacje o wydaniu znajdą Państwo w dyskusjach Sukarix w serwisie GitHub.


Tagi: Sukarix, PHP 8.5, framework PHP, kolejki Redis, przetwarzanie asynchroniczne, BigBlueButton, analityka uczenia się, EdTech, potok danych w czasie rzeczywistym, RIADVICE, wydajny PHP, open source.

Udostępnij ten artykuł