Посты | OTUS
NLP-конвейер

Некоторые задачи, возникающие при обработке естественного языка, ранее решались посредством классических ML-алгоритмов. В результате для решения большинства из них нужен был тщательный выбор архитектуры, не говоря уже о кропотливом ручном сборе и обработке признаков. Но сегодня нейросети способны выдавать более точные результаты, если сравнивать с теми же классическими моделями. К тому же, сформирован общий подход для решения NLP-задач -- NLP-конвейер.

Гибкость в хранении информации и масштабировании в Kafka

Сложно спорить с тем, что одно из важных преимуществ Kafka -- это возможность долговременного хранения информации. Мало того, используя настройки, вы можете как указать определенное время хранения топиков, так и ограничить размер топика в байтах -- в случае превышения сообщения станут недействительны и будут удалены. Разве не удобно, что сообщения хранятся лишь до той поры, пока они нужны? Однако это еще не всё.

Проверяем работу CrowdSec

Представим ситуацию, что вы только что установили CrowdSec -- как понять, что все работает? Один из вариантов -- сымитировать сканирование web-приложений через wapiti с внешнего хоста ATTACKER.

Полиморфизм в Clojure. Протоколы

Чтобы создать полиморфные функции, в языке программирования Clojure предусмотрено два механизма. Поначалу язык поддерживал лишь мультиметоды — безусловно, средство мощное, однако на практике часто избыточное. Но уже начиная с версии 1.2, была добавлена новая концепция — протоколы. О них и поговорим.

Работа с базами данных и облачной инфраструктурой в SRE

Именно SRE-инженер находится в первых рядах, если речь идет про обеспечение аптайма высоконагруженных сервисов и стабилизацию системы после краша. Именно поэтому такой специалист должен разбираться и в разработке, и в системном администрировании, и в траблшутинге. Но есть еще одно чрезвычайно важное умение для SRE-инженера: работа с БД & облачной инфраструктурой. Остановимся на этом чуть подробнее.

Helmwave v0.19.3

Продолжаю делиться новостями ченджлогов. В этот раз небольшой апдейт по Helmwave -- известный инструмент для декларативного описания деплоя helm-чартов, представляющий собой, по сути, docker-compose для @helm. Предыстория здесь и здесь.

Двухфазная фиксация в распределенных транзакциях

При разработке бэкенда высоконагруженных сервисов часто применяют распределенные транзакции. О проблемах, с которыми можно столкнуться при совершении данных транзакций в микросервисах, мы уже говорили. Пришло время поговорить о способах их решения. Один из способов -- двухфазная фиксация.

Топики в Apache Kafka

Мало кто не знаком с Apache Kafka. Это популярная платформа потоковой обработки событий в реальном времени, обладающая низкой задержкой и высокой пропускной способностью. Еще ее называют распределенным программным брокером сообщений с открытым исходным кодом. Однако все эти сообщения еще надо где-то группировать. В случае с Kafka используются топики.

Популярное
Сегодня тут пусто