← Blog

Broń i przemoc na zdjęciach — nowe kategorie moderacji, w cenie planu

2026-07-02 · admin@modwall.dev · ok. 2 min czytania

Od dziś modwall ocenia obrazy w trzech kategoriach: nagość/NSFW (jak dotychczas), broń oraz przemoc/gore (beta). Wszystkie w cenie planu — jedno zapytanie, jeden limit, zero liczenia „operacji” per model.

Liczby, nie obietnice

Kategoria broni (pistolety, karabiny, noże w dłoni) została wytrenowana i zewaluowana na ponad 15 tys. obrazów, w tym na „podstępnych” negatywach — smartfonach, portfelach i banknotach trzymanych w dłoni tak jak broń. Wyniki na zbiorze walidacyjnym:

• AUC 0.99 — separacja klas na poziomie wyspecjalizowanych detektorów;
• przy domyślnym progu blokady 0.8: 99% precyzji — ok. 7 fałszywych alarmów na 1000 zwykłych zdjęć — przy wykrywalności 79%;
• z pasmem przeglądu 0.5–0.8 wykrywalność rośnie do ~98% — przypadki graniczne trafiają do Twojej kolejki human-in-the-loop, a nie na platformę.

Przemoc/gore działa na razie w trybie zero-shot (beta) — zwraca sensowny sygnał, ale progi skalibruj na własnym ruchu, zanim włączysz automatyczne blokowanie.

Ty decydujesz, co jest problemem — per serwis

Broń na zdjęciu znaczy co innego na portalu ogłoszeniowym, co innego w społeczności graczy, a jeszcze co innego na platformie dla szkół. Dlatego kategorie włączasz w profilach moderacji: profil przypinasz do klucza API lub widgetu, a każdy z Twoich serwisów dostaje własny zestaw kategorii, progów i tryb działania. Serwis muzyczny może wyłączyć broń (raperzy…), serwis dla dzieci — przykręcić wszystko do maksimum.

Jak to włączyć (2 minuty)

1. Panel → Polityka → wybierz profil (albo utwórz nowy per serwis).
2. Włącz kategorię Broń i/lub Przemoc, ustaw progi.
3. Zacznij od trybu monitor — zobaczysz w panelu, co byłoby oflagowane, bez żadnych zmian dla Twoich użytkowników. Gdy liczby wyglądają dobrze, przełącz na review lub enforce.

Odpowiedź API zyskała pola categories, blocked_by i profile — szczegóły w referencji API. Nagość/NSFW działa jak dotychczas, niczego nie musisz zmieniać.

Dlaczego w cenie planu?

U części dostawców każda kategoria to osobny model, a każdy model zjada operacje z płatnej puli — moderacja jednego obrazu w trzech kategoriach kosztuje trzy operacje. Nasze kategorie liczą się na tej samej infrastrukturze CPU co reszta, więc nie widzimy powodu, żeby kazać Ci wybierać między bezpieczeństwem a budżetem. Jedno zapytanie = wszystkie włączone kategorie.

Załóż konto (1000 zapytań/mies. za darmo) albo przetestuj na własnym zdjęciu na stronie głównej — demo pokazuje teraz wszystkie trzy kategorie.