Спам и антиспам

[waspagv]

Наша контора - а это богатый (оч-ч-чень богатый) банк - вымучила из себя 50 тыр на спам-фильтр. В России известных продуктов этого профиля два: "Антиспам" от Лаборатории Касперского (бывший фильтр Ашманова) и "Спамооборона" от Яндекса. Они используют для выявления спама разные методики, которые я сейчас описывать не буду, скажу только, что Спамооборона полностью автоматическая, т.е. базы шинглов и DNSBL формируются автоматически, в том числе на основе данных пользователей почты Яндекса. У Ашманова же в процессе формирования баз участвует лингвистическая лаборатория, т.е. в трудных случаях решение о том, является письмо спамом, или нет принимает человек, и он же включает необходимые сигнатуры в базу.

Известно, что фильтром Ашманова пользуется mail.ru, а mail.yandex.ru, - разумеется, своим. У меня есть (т.е. были до вчерашнего дня) ящики и там, и там. И вот, что я заметил. На mail.ru мне поступило за октябрь 72 письма. Все они были нежелательными. Фильтр при самых жестких настройках посчитал нежелательным лишь одно! Остальные благополучно пропустил. При этом одно и то же письмо в течение месяца приходило несколько раз от разных отправителей (очевидно, поддельных), и я честно всякий раз давил кнопку "Пожаловаться на спам". Думаю, что другие получатели поступали так же. На следующий день фильтр снова пропускал аналогичное письмо. В то же время Яндекс, куда я отфорвардил все 72 письма, уверенно идентифицировал их как спам.

Мне лень разбираться, кто виноват в бардаке на mail.ru: Касперский, или сам mail.ru. Я просто выбрал для покупки Спамооборону.

Comments

Выбрали, ну и на здоровье.

[netshrink.livejournal.com]

Но есть несколько особенностей:
а) На Мыле антиспам от ЛК используется вместе со своими собственными средствами фильтрации - списками IP и т.п. Да и СО тоже на Яндексе не такая, как в коробке. Это не совсем чистый эксперимент.

б) На Яндексе просто затянута гайка потуже, так что проходит меньше, но у него существенно больше ложных тревог. Мои знакомые регулярно читают там папку "Спам", на всякий случай, потому что случаи бывают. Тут уж кому что нравится.
в) 72 письма на Мыле - это те, что прошли фильтр. Мыло НЕ кладет спам в Папку "Сомнительные". Они его просто режут, так что в папку Сомнительные попадает именно сомнительная переписка, ее процент всегд амаленький. Реально за это время вам послали, я думаю, тысячи полторы-две пам-писем (потому что процент фильтрации антиспама Касперского 93-97%).
г) На Мыло шлют гораздо больше спама в абсолютном выражении, в разы, так что и абсолютное число прорвавшихся - больше в разы.
д) переправлять письма на Яндекс - плохая проверка. Он вообще часто рубит письма с Мыла, так что тут вес Мыла как сомнительного источника для Яндекса добавился к подозрительному письму и получился спам. Пересылка вообще ничего не показывает по качеству фильтрации, так как письмо технически уже совсем другое получается.

Короче, сделали выбор и ладно, но основания были все-таки сомнительные. Посмотрите на СО на своем потоке, думаю, опять начнете искать себе фильтр. У нее есть довольно сильные дефекты, именно как у корпоративного продукта.

Re: Выбрали, ну и на здоровье.

[waspagv.livejournal.com]

>в) 72 письма на Мыле - это те, что прошли фильтр. Мыло НЕ кладет спам в Папку "Сомнительные". Они его просто режут, так что в папку Сомнительные попадает именно сомнительная переписка, ее процент всегд амаленький. Реально за это время вам послали, я думаю, тысячи полторы-две пам-писем (потому что процент фильтрации антиспама Касперского 93-97%).

А вот за это админам надо руки рубить. Пользователю нельзя даже позволять выбрать такой режим. Не дело почтальона - резать письма. Мы так с одним провайдером договор расторгли, он рубил все, что его фильтр считал спамом. Молча. И считал, что поступает самым правильным образом. Тут должен соблюдаться принцип Печкина: если посылка пришла, ее нужно принести. Я у себя в домене категорически отказываю пользователям в просьбе резать спам. Мое дело - разметить, а уж как поступить, пусть решают сами.

>д) переправлять письма на Яндекс - плохая проверка. Он вообще часто рубит письма с Мыла, так что тут вес Мыла как сомнительного источника для Яндекса добавился к подозрительному письму и получился спам. Пересылка вообще ничего не показывает по качеству фильтрации, так как письмо технически уже совсем другое получается.

Я перенаправляю кнопкой "b" в mutt'е, предварительно удалив из заголовка все Received: с упоминанием mail.ru. Яндекс даже не знает, что был форвардинг.

>Короче, сделали выбор и ладно, но основания были все-таки сомнительные. Посмотрите на СО на своем потоке, думаю, опять начнете искать себе фильтр. У нее есть довольно сильные дефекты, именно как у корпоративного продукта.

Во всяком случае, это лучше чем кидать монету. Да и недостатки, какие бы они не были, думаю, будут меньше, чем у SpamAssassin, который использую сейчас. О недостатках СО выразительно писал Ашманов, но я к его мнению отношусь осторожно, как к очень пристрастному. А на своем потоке смотрю как раз сейчас на тестовой лицензии. После SA эмоции только положительные.

Re: Выбрали, ну и на здоровье.

[waspagv.livejournal.com]

whois сказал про вас: ZAO "Ashmanov i Partnery". Собственно, я по стилю письма предположил это. Теперь мне хочется получить мнение конкурирующей компании. :)

Re: Выбрали, ну и на здоровье.

[netshrink.livejournal.com]

Ух-ты, какое мощное расследование и какие острые факты вскрылись! Да, это мой IP.

Мы не конкурирующая компания, уже 2 года. Потом, конкуренции никакой у Яндекса с ЛК по сути нет, СО так и не стала заметным игроком на рынке, Диалог-Наука продает не очень хорошо. Спамтест фактически монополист на российском рынке.

Расскажу к слову историю, точнее две:
1. Пару лет назад Датафорт выбирал между Спамтестом и СО. Взял Спамтест, много приставал по созданию сдаваемой в аренду версии. Потом пропал. Всю осень молчал, потом пришел покупать Спамтест. Мы спрашиваем - чего пропали? - А Спамооборону тестировали. - Ну и как? - Очень мощный продукт. - А что в нем мощного? - Есть 2000 ручек и можно настроить под себя, как захочешь. - Ну и чего ж Спамтест покупаете, а не Спамооборону? - Да затрахались ручки крутить.
Когда ручки крутят программисты Яндекса, рядовой пользователь их веб-почты может спать спокойно, да и то по модулю ложных тревог, см. ниже. А рядовой сисадмин напрягается. Правда, может, все уже изменилось, не знаю.

Вторая история такая - месяц назад наши были в Яндексе, яндексоиды говорят: ну, мы победили Спамтест окончательно. Наши говорят - по продажам, что ли? - Нет, по уровню детекции. - Да вы просто гайку закрутили потуже, дурацкое дело нехитрое. - Нет, у нас ложных тревог нет, мы сами папку "Спам" уже год не читаем.
А я потом поговорил с владельцами ящиков на Яндексе, ложные тревоги - постоянно, особенно письма с соообщениями о переводе денег от разных сервисов и аукционов. На Гугле то же самое. Неспрста они купили Постини, облажались они со своим антиспамом.
А гайку в таком режиме закрутить можно и в Спамтесте.
Вопрос приоритетов. Лемминги не в состоянии отследить ложные тревоги, а спам они видят, так что можно и закручивать гайку, коммерчески это оправданно.

Что касается резания спама на Мыле - ну так вы порулите сервисом на 30 миллионов ящиков, с 50-70 миллионами писем ежедневно, тогда я посмотрю, как вы будете хранить ВЕСЬ спам. Яндекс тоже далеко не все письма принимает и хранит.

Re: Выбрали, ну и на здоровье.

[waspagv.livejournal.com]

>Мы не конкурирующая компания, уже 2 года.

Зачем тогда так бурно реагировать? Громкие слова сотрясают воздух, но не собеседника.

>...ну так вы порулите сервисом на 30 миллионов ящиков

Когда мне потребует Ваш совет, чем мне порулить, и как это сделать, я Вам немедленно сообщу. Я не пойду к сапожнику, который в ответ на замечания по качеству ботинок начинает орать: "А ты попробуй посиди на моем месте с этим шилом и этими колодками!"

Re: Выбрали, ну и на здоровье.

[netshrink.livejournal.com]

На вас никто не орет. Вы похоже, не поняли жанр разговора. Я разъясняю, по старой памяти, вовсе не собираюсь вам что-то продавать, вы вообще не тот клиент даже для ЛК со своим очень богатым банком, который нашел наконец полторы штуки баков на нижнюю модель. Интересные продажи для ЛК - провайдеры, телекомы, крупные компании, десятки и сотни килобаксов, сотни тысяч ящиков и т.п.
Мне, честно говоря, все равно, что вы купили. Мы давно Спамтестом не занимаемся, его в ЛК таки испортили, нам не надо про это с вами спорить, я не тот сапожник, который якобы сшил вам сапоги и так далее. У вас нет претензий к Спамтесту вообще-то, если вы забыли. Есть к сервису на Mail.ru.

Просто вы написали непрофессиональный пост о том, что тщательно выбирая корпоративный софт, вы почему-то смотрели на массовый сервис, где, по слухам, работает что-то такое под тем же названием. Это просто негодная логика, вот и все.
Ни Спамтест корпоративный, ни тиражируемая СО не имеют отношения к тому, что работает в единственном экземпляре из рук у разработчиков на Мыле и в Яндексе. Это совершенно разные вещи.

Что касается ваших пафосных претензий к тому, что Мыло якобы должно вам доставлять ВСЕ письма, то это тоже нелепость. НИКТО не доставляет вам весь спам. Ни Яндекс, ни Гугль, ни Мыло. Вы просто об этом никогда раньше не задумывались и сказали второпях. Меньше пафоса - и тогда не будет так обидно, если вам укажут на ошибку.

Re: Выбрали, ну и на здоровье.

[waspagv.livejournal.com]

Вы злоупотребляете прилагательными "пафосный", "непрофессиональный" и т.п. О моем профессионализме будет судить мой работодатель (поскольку никому на сторону услуг я не оказываю), я не вы по заметке в журнале. О чем и когда я задумывался, вам неизвестно, и гнать пургу об это не следует. И за разъяснениями, тем более "по старой памяти", я тоже к вам не обращался. После вашего первого коммента и моего ответа на него следовало бы остановиться. Но вам захотелось поерничать, поэтому появилось "восхищение" "мощным расследованием", примерами того, какое гавно СО. О чем была моя заметка, вы, очевидно, не поняли, предпоследнее предложение не читали, просто обиделись за свой продукт и пошли в атаку. Кроме того, вы ничем не заслужили привилегии разговаривать со мной свысока. По совокупности заслуг получайте бан.

[new-ta.livejournal.com]

я на яндекс в этом отношении не нарадуюсь :)

[renatar.livejournal.com]

А я пожалуюсь на Яндекс. У меня такое впечатление, что кнопка "Пожаловаться на спам" у них просто так стоит. На следующий раз приходят тео же самые письма со спамом, и никто их не режет... :-( Ну и еще по мелочам претензии есть.

вот прямо-таки те же самые?

[erra.livejournal.com]

или всё-таки "очень похожие"?