Главный баг открытых проектов Яндекса

Блог Яндекса — 10.11.2010 Идеология разработки с открытыми исходниками предполагает также и открытый процесс разработки. Следуя этому духу мы сегодня решили открыто исправить серьёзный баг, которому в той или иной степени подвержены почти все open source проекты Яндекса.

ID	1
Summary	Никто не знает про открытые проекты Яндекса
Description	У наших разработчиков уже довольно много опубликованных компонентов, библиотек и готовых решений. Их никто особенно не скрывает, но также про них никто и не рассказывает. Надо рассказать!

» PIRE https://github.com/dprokoptsev/pire

Perl Incompatible Regular Expressions library родилась в недрах разработки поискового робота, где специфика задач позволяет отказаться от поддержки эзотерических возможностей стандартных перловых регулярок, и за счёт этого существенно повысить скорость обработки. В поисковом роботе не бывает, чтобы что-то работало слишком быстро. Вот небольшая выдержка из тестов производительности, которые использовались также в известной статье "Regular Expression Matching in the Wild":

Файл 500 МБ, регулярка: .*$
pcre	31,67 МБ/сек
re2	242,28 МБ/сек
pire	756,32 МБ/сек
Файл 500 МБ, регулярка: ABCDEFGHIJKLMNOPQRSTUVWXYZ$
pcre	153,67 МБ/сек
re2	653,76 МБ/сек
pire	755,98 МБ/сек
Файл 2 МБ, регулярка: (\d{3}-|\(\d{3}\)\s+)(\d{3}-\d{4})$
re2	423,76 МБ/сек
pire	775,89 МБ/сек

Особенно ценная черта PIRE — это способность работать также и с очень длинными регулярками, и это очень мало сказывается на производительности.

» Xiva https://github.com/highpower/xiva

Xiva — это асинхронный HTTP-сервер для реализации серверной части протокола WebSocket из HTML5. Он не является сервером общего назначения (например, не умеет обрабатывать POST-запросы), за счёт чего получился компактным и быстрым. Он идеально подходит для веб-чатов, live-виджетов и других похожих задач, где надо, чтобы на веб-странице что-то обновлялось по сигналу с сервера. Есть пример реализации серверной части простого веб-чата на Питоне.

В Яндексе он работает в новом интерфейсе Почты, где обслуживает мгновенные уведомления о новых письмах. Попробуйте при открытом окне почты прислать себе письмо из какой-нибудь другой почтовой системы.

» NwSMTP https://github.com/khanton/NwSMTP

Об NwSMTP можно думать как о "Nginx для SMTP". Это прокси-сервер, который работает перед основным почтовым сервером и может обеспечивать например поддержку SSL, фильтрацию по RBL, антиспам и антивирусную проверки. Именно он работает сейчас на нашей Почте.

Документация к нему предлагается в духе unix-традиций в виде откомментированного конфиг-файла. Обратите внимание, что проверку на спам через яндексовую Спамооборону доступна "из коробки".

---

Это, конечно, не все открытые проекты Яндекса. Мы потихоньку будем собирать информацию о них в едином месте. Пока же можно, например, следить на Github за списком проектов пользователя yandex-opensource.

Resolution	Fixed

Оставить комментарий

Популярные посты:

• Архив