Footcow Blog - Mot-clé - filtreLinux, Base de données Postgresql, développement, Internet, emailing et déliverabilité.2024-03-29T14:52:38+01:00Hervé Piedvache alias Bill Footcow pour les intimesurn:md5:ef5d07bad25e414feca607a3b7f2af11DotclearQue peut-on apprendre des filtres anti-spam de Gmail ?urn:md5:e253206611d7b47279cef3b8e604c9052012-05-27T12:56:00+02:002023-05-17T17:19:14+02:00footcowEmailingdéliverabilitéemailingfiltregmailspam<p><img src="https://www.footcow.com/public/Gmail-spam.jpg" alt="" style="display:table; margin:0 auto;" height="255" width="428" />
<br />
Depuis maintenant quelques mois, <a href="https://mail.google.com" hreflang="fr" title="Gmail">Gmail</a> a été pourvu d'une notice explicative sur la raison de la mise en spam des emails. Il est assez intéressant de se pencher sur cette information pour comprendre un peu mieux ce qui se passe du côté de Google, la méthode d'analyse des emails et la manière dont ils sont catégorisés. Qui plus est, vous avez sûrement entendu parlé de <a href="https://www.google.com/postini/" hreflang="en" title="Postini">Postini</a>, le service de filtre anti-spam de <a href="https://www.google.com/apps/intl/fr/business/" hreflang="fr" title="Google Apps">Google Apps</a>, qui maintenant profite également des règles de filtrage de Gmail, et donc s'appliquent aussi à des adresses professionnelles et non plus seulement aux détenteurs d'adresses @gmail.com. Enfin, il est toujours bon d'analyser les méthodes d'un webmail, car souvent les autres outils du marché s'approchent d'un fonctionnement assez identique.<br /></p> <p>En introduction, je vous parlais de la nouvelle notification de Gmail pour les spam. Pour ceux qui ne passent pas ou plus par leur boite à spam, cela ressemble à cela :</p>
<p><img src="https://www.footcow.com/public/screenshot_gmail_spam.png" alt="screenshot_gmail_spam.png" style="display:table; margin:0 auto;" title="screenshot_gmail_spam.png, mai 2012" height="35" width="480" /></p>
<p>Cette notification s'affiche juste après l'entête qui indique le nom de l'expéditeur et la date d'expédition de l'email. Il vous indique donc l'explication de pourquoi cet email est considéré comme un spam et vous propose un lien pour savoir plus.</p>
<p>Il existe aussi des messages plus virulent lorsqu'il s'agit d'un cas de <a href="https://fr.wikipedia.org/wiki/Hame%C3%A7onnage" hreflang="fr" title="Phishing">phishing</a> avéré par exemple :</p>
<p><img src="https://www.footcow.com/public/screenshot_gmail_spam2.png" alt="screenshot_gmail_spam2.png" style="display:table; margin:0 auto;" title="screenshot_gmail_spam2.png, mai 2012" height="46" width="480" /></p>
<p>Il y encore d'autres raisons qui sont décrites dans les explications données par Gmail. Mais il en ressort principalement deux principales pour lesquelles un message peut se retrouver dans le dossier spam. La première est que Google considère que le message est un faux ou considérable comme une tentative de phishing. La seconde est que Google considère le message comme un spam. Il y a, naturellement de multiples raisons derrière chacune de ces dispositions, et Google nous fournit quelques détails supplémentaires.</p>
<p>Le phishing (hameçonnage en français) est l'acte d'envoyer un email à un utilisateur en feignant d'être une entreprise légitime, avec pour objectif de l'arnaquer en récupérant ses informations privées et ainsi permettre aux voleurs de réaliser une simple vol d'identité. Les cibles principales sont bien évidemment les services bancaires, mais aussi les fournisseurs d'accès internet et cela va même jusqu'aux programmes de fidélisation. D'un autre côté les emails falsifiés sont des emails dont l'émetteur n'est pas celui qui prétend être. Tous les emails de phishing sont des faux, mais tous les email détectés comme des faux ne sont pas des tentatives de phishing, d'où la distinction dans le système de Gmail.</p>
<p>Si vos emails apparaissent comme de potentiels faux, c'est à dire que Gmail n'a pas été en mesure de contrôler que vous êtes bien l'émetteur de l'email, c'est que vous avez certainement un problème technique ou une infrastructure de routage de vos emails très mal configurée. Les basiques sont naturellement de vérifier que vos DNS (serveurs de nom de domaine) sont bien configurés au niveau des IP utilisées pour router vos emails. Qu'ils permettent de vous identifier clairement, y compris sur les requêtes de reverse qui sont souvent oubliées. Il est plus que recommandé d’adjoindre à cela un ou plusieurs système d'authentification. L'authentification confirme au destinataire que les messages sont réellement envoyés par vous. Il y a trois façons de le faire: <a href="https://www.dkim.org/" hreflang="en" title="DKIM">DomainKeys Identified Mail</a> (DKIM), qui signe cryptographiquement tous les messages sortants et prouve que le message n'a pas été altéré et a bien été envoyé par qui le déclare. La deuxième méthode est le <a href="https://www.openspf.org/" hreflang="en" title="SPF">Sender Policy Framework</a> (SPF), qui définit simplement les serveurs de messagerie qui sont autorisés à envoyer des emails pour votre organisation. Vous devez mettre en œuvre au minimum ces deux technologies. Une dernière méthode vient d’apparaître depuis quelques mois, le <a href="https://www.dmarc.org/" hreflang="en" title="DMARC">DMARC</a>, qui permet un niveau de certification et de contrôle supplémentaire, basé en plus sur le DKIM et le SPF. Le DMARC est de plus en plus utilisé, alors que la norme n'est pas officiellement terminée, et cela ne peut être que positif de l'implémenter.</p>
<p>Bien sur vos contenus doivent être convenablement encodés, et l'architecture de l'email doit se conformer à la <a href="https://tools.ietf.org/html/rfc5321" hreflang="en" title="RFC 5321">RFC adéquat</a>. Ensuite, il convient de contrôler l'adresse email émettrice, ainsi que la configuration de l'adresse de réponse (reply-to). Elles doivent être valides et présentes sur votre domaine. Nom de domaine, dont vous vous devez d'être le propriétaire, et qui se doit de correspondre à la marque utilisée dans votre communication. Cela paraîtra évident pour certains, mais c'est souvent un oubli majeur de ce type qui vous fait basculer dans la boite à spam. C'est aussi souvent la façon la plus simple d'usurper votre identité pour un spammeur, en déposant un nom de domaine proche du votre ou avec une extension simplement différente.</p>
<p>Si vous respectez ces étapes, il y a très peu de chance pour que Gmail et d'autres remettent en cause l'authenticité de vos messages.</p>
<p>Mais Gmail marque également des messages comme Spam parce qu'il estime qu'ils ne sont pas désirés par le destinataire. En général ces messages contiennent des éléments qui sont utilisés de façon classique dans les vrais spam, ou bien simplement leur expéditeur a déjà été marqué comme spammeur par vous même ou par de nombreux autres destinataires.</p>
<p>Si votre message contient des termes usuellement utilisés dans les spam, vous pouvez facilement comprendre pourquoi il est marqué de la même manière. Les filtres sont facilement contournés par les spammeurs en détournant leur communication, ou en abordant des sujets détournés pour vous atteindre. Tant et si bien que les filtres de contenu prennent souvent d'innocents messages pour des spam. Les filtres se sont grandement améliorés depuis les débuts de l'emailing. Ils ne se basent plus sur des filtrages simplistes de mots clés et d'expressions, mais sur un système beaucoup complexe d'analyses statistiques. Ce qui signifie que vous ne serez pas filtré simplement sur un mot ou une phrase, mais sur une séquence de traits statistiques et caractéristiques d'un spam. Une combinaison de contenus peut déclencher le filtrage, via un biais statistique, qui varie en plus dans le temps. Les liens contenus dans vos emails sont aussi souvent une cause simple de la mise en spam. Si un de ces lien utilise un nom de domaine classifié comme spammeur votre message le sera également. Souvent les compteurs de certaines sociétés spécialisées dans le comptage et l'ouverture de campagne ou de simples pages sont assimilés à des liens de spam.
La seule solution consiste donc à tester si votre message arrive ou non en spam. Et si c'est le cas, il vous faudra reformuler votre message avec des mots nouveaux.</p>
<p>Si votre adresse email émettrice a été marquée comme spam par des utilisateurs, cela a forcément un impact sur vous. Avec certains fournisseurs de webmail en particulier, vous devez avoir été averti au travers d'<a href="https://www.footcow.com/index.php/post/2011/08/14/Emailing-%3A-Boucles-de-r%C3%A9troaction">une boucle de rétroaction</a> de cette mise en spam, et vous devez donc impérativement retirer ces destinataires de vos listes. En revanche, et c'est le cas de tous les FAI français, à ce jour, ou de Gmail, si il n'y a pas de notification, vous serez toujours, et encore plus considérés comme du spam pour ces destinataires à chaque fois que vous enverrez un nouvel email. Une fois atteint un nombre relativement restreint d'utilisateurs qui vous auront marqué comme spammeur, votre réputation en prend radicalement un coup, et vos emails commencent à migrer progressivement dans la boite à spam par défaut. Et il devient de plus en plus difficile d'en sortir. Cela peut être une bonne raison d'envisager l'élimination progressive à long terme les utilisateurs inactifs.</p>
<p>Naturellement ici nous n'abordons qu'une infime partie de la gestion des filtres de Gmail. Même si Google fait un effort de vulgarisation de ses méthodes d'analyse, on peut se dire que beaucoup de détails ne sont pas exprimés pour les profanes, et surtout Google ne va pas expliquer tous les rouages qui permettraient d'être contournés par les spammeurs professionnels.</p>
<p>Enfin si vous êtes filtré par Gmail, vous pourrez toujours examiner certains des points expliqués et peut-être pourrez-vous remédier à la situation.</p>https://www.footcow.com/index.php/post/2012/05/27/Que-peut-on-apprendre-des-filtres-anti-spam-de-Gmail#comment-formhttps://feeds.feedburner.com/FootcowBlog/comments/106La dure vie d'un email ...urn:md5:ecf92be6d64d22b5fe8ff6b133d32de12008-10-29T00:28:00+01:002016-08-01T09:21:26+02:00footcowEmailingemailespfaifiltrespam<p>Il y a encore quelques années, la chaîne de distribution des emails se limitait à quelques étapes. Vous écriviez votre email, cliquiez sur "envoyer", et après quelques transferts, le message était délivré dans la boîte de réception du destinataire comme vous l'aviez composé.</p>
<p>Aujourd'hui, cette chaîne est beaucoup plus complexe. Certaines étapes vont bloquer votre email, d'autres vont l'aider à être délivré. Arriver à envoyer des emails est devenu un véritable problème pour de nombreux expéditeurs de courriers électroniques dont je fais parti dans mon cadre professionnel, je vais donc m'attarder un peu sur mon expérience dans ce domaine que je pratique maintenant depuis une petite dizaine d'années.</p>
<p>En attendant, voici comment la chaîne de livraison s'est allongée au fil des ans, apportant naturellement des difficultés avec chaque nouvelle étape.</p> <p>1. <strong>L'expéditeur.</strong> Tout commence ici. Comment avez-vous géré la création du contenu, le sujet, la gestion de la liste des destinataires, le protocole d'envoi, bref tout ce qui va engendré votre livraison.</p>
<p>2. <strong>Email Service Provider (ESP) ou logiciel d'envoi de courriers électroniques.</strong> Vous ne serez pas automatiquement pénalisé si vous utilisez des logiciels de courriers électroniques bas de gamme ou si vous passez par une société de routage d'emails peu regardante sur votre liste de destinataires. Mais ces choix mènent à être souvent associé à des spammeurs, et l'amalgame se portera rapidement sur votre marque, ou votre site, et naturellement sur la bonne réception de vos campagnes d'emailing.</p>
<p>3. <strong>Agent de transfert de courrier (MTA).</strong> Cette application transmet votre email soit par le biais du fournisseur d'accès Internet (FAI), soit via un autre MTA. Certains MTA créés à l'usage des utilisateurs ne sont pas construits pour traiter des volumes élevés. Ils vont mal gérer les connexions que vous engendrez aux travers de vos envois d'emails. Les MTA développés pour de gros volumes offrent généralement des contrôles de régulation et la gestion de connexions spécifiques, pour répondre aux volumes des FAI, par exemple.</p>
<p>4. <strong>Envoi via un FAI.</strong> Certains commerçants continuent d'envoyer des emails commerciaux à partir de clients de messagerie personnels. Non seulement ces clients ne sont pas adaptés pour de gros volumes de destinataires, mais leurs propres FAI pourraient assimiler leurs ordinateurs à des machines dédiées à l'envoi de spams et ainsi bloquer tout ce qu'ils envoient, y compris les messages personnels.</p>
<p>5. <strong>Outils réseaux.</strong> Des sociétés comme Postini (Google), Barracuda, ou Symantec proposent des solutions d'analyse de trafic à l'entrée des réseaux de FAI, ou de grosses sociétés afin de filtrer le trafic entrant contre les spams, les virus, le phishing et les attaques malveillantes. Vos messages peuvent être retardés ou filtrés si ils contiennent du code de mauvaise qualité ou des scripts, et surtout si ils arrivent dans des volumes importants.</p>
<p>6. <strong>Réception chez les FAI.</strong> Cette étape de la chaîne de livraison des emails peut vous bloquer complètement si vous ne suivez pas les meilleures pratiques de l'emailing. Elle est complexe car elle comprend une multitudes de petites étapes intermédiaires. Les serveurs de messagerie d'entreprise ont également souvent un firewall et des filtres visant à réduire les risques de sécurité. Détaillons ces différentes étapes:</p>
<ul>
<li><strong>Système de réputation.</strong> La plupart des FAI possédant un grand nombre de clients ont un système de réputation qui monitore les adresses IP des émetteurs d'emails en fonction des plaintes remontées par les utilisateurs et du nombre d'emails envoyés à des adresses inconnues. Si le ratio entre les bons et les mauvais destinataires est trop bas, l'adresse IP utilisée pour l'émission des emails ne pourra plus se connecter, on dit qu'elle devient blacklistée.</li>
<li><strong>Codes d'authentification.</strong> Cela permet aux serveurs de réception de savoir si vous êtes autorisé à envoyer des emails depuis votre nom de domaine ou votre adresse IP ou de contrôler que vous êtes bien celui que vous prétendez être. Ils permettent de rejeter les émetteurs qui détournent les adresses IP ou utilisent de relais d'envoi. Les principaux systèmes d'authentification, à ce jour, sont <a href="https://www.openspf.org/" hreflang="en">SPF</a>/<a href="https://www.whoishostingthis.com/resources/sender-id/" hreflang="en">SenderID</a> (AOL/MSN/Hotmail) ou <a href="https://domainkeys.sourceforge.net/" hreflang="en">DomainKeys</a> (Yahoo, Gmail).</li>
<li><strong>Listes noires internes ou externes.</strong> Ceci inclus les systèmes de blacklistages d'adresses emails, de nom de domaines et d'adresses IP que les utilisateurs ont reportés comme spam. Mais aussi les listes noires externes, maintenues par des associations d'utilisateurs ou par des agences spécialisées comme <a href="https://www.spamcop.net" hreflang="en">SpamCop</a>, <a href="https://www.spamhaus.org" hreflang="en">Spamhaus</a>, <a href="https://www.cloudmark.com" hreflang="en">Cloudmark</a>.</li>
<li><strong>Listes blanches internes ou externes.</strong> Pour un FAI sa whiteliste fait en général parti de son système de réputation. Les FAI peuvent également consulter des listes d'émetteurs d'emails certifiés par des sociétés externes comme <a href="https://www.senderscorecertified.com" hreflang="en">Sender Score Certified</a>, <a href="https://www.truste.org/" hreflang="en">TRUSTe</a>, and <a href="https://www.goodmailsystems.com" hreflang="en">Goodmail</a>.</li>
<li><strong>Filtres des FAI.</strong> Les filtres bloquent les emails selon différents paramètres comme du contenu de spam, des fichiers exécutables en pièce jointe et des émetteurs non certifés.</li>
<li><strong>Filtres annexes.</strong> SpamAssassin et d'autres programmes similaires analysent le contenu des emails, le design, le code source et l'émetteur. Ils donnent une note pour chacunes des anomalies rencontrées. Ils rejettent les messages qui vont ressortir de leurs analyses avec un score trop élevé.</li>
<li><strong>Défi / réponse.</strong> Ce système de contrôle d'identité a pour but d'empêcher les courriers non sollicités automatiquement générés par des logiciels générateurs d'adresses emails aléatoires. L'expéditeur doit répondre à un message email automatique avant que l'email puisse être délivrés. Une fois que l'expéditeur répond, son adresse email ou son adresse IP sont ajoutées à la liste blanche du FAI.</li>
</ul>
<p>7. <strong>Destinataires.</strong> Votre email est coupable jusqu'à ce qu'il prouve de son innocence à ses destinataires. Ils vont avoir installés des dispositifs de détection des courriers indésirables ou suppriment simplement les emails qui ne leur inspirent pas confiance :</p>
<ul>
<li><strong>Firewalls de sociétes et autres filtres.</strong> Les grosses sociétés ont souvent maintenant des politiques restrictives sur les emails, en raison avant tout, des problèmes de sécurité. Certaines sociétés interdisent même l'utilisation d'email pour des raisons personnelles et bloquent de façon radicale les messages à tendance commerciales.</li>
<li><strong>Messageries de sociétés.</strong> Comme les serveurs des FAI, elles utilisent les listes noires, blanches et les filtres pour autoriser les émetteurs et les contenus reconnus.</li>
<li><strong>Réglages par défaut des lecteurs d'emails et les filtres.</strong> Maintenant la plupart des clients d'emails bloquent les images automatiquement, ce qui empêche les exécutions automatiques de programmes ou le marquage pour l'expéditeur de la bonne lecture de son email. Beaucoup sont ceux qui ont le volet de prévisualisation d'affichage par défaut. Les webmails suivent la même voie.</li>
<li><strong>Les paramètres utilisateurs et des filtres.</strong> Les utilisateurs peuvent modifier les paramètres par défaut pour autoriser ou bloquer les images, modifier le volet d'aperçu, ou interdire les contenus ou les expéditeurs indésirables.</li>
<li><strong>Programmes anti-spam.</strong> Ces programmes analysent les messages pour trouver les spam ou les contenus dangereux après les filtres des FAI mais avant d'arriver dans la boite de réception. Ils utilisent différentes méthodes comme des règles d'analyses pré-définies ou au travers de l'apprentissage que l'utilisateur va leur avoir fait sur le marquage manuel des emails reçus.</li>
<li><strong>Défi / réponse.</strong> Les utilisateurs qui ont des FAI qui n'utilisent pas le système de défi / réponse peuvent parfois l'installer sur leur propre système pour évincer les émetteurs indésirables.</li>
<li><strong>Liste grise.</strong> La liste grise ou greylisting est une méthode qui consiste à envoyer un message d'erreur temporaire au serveur d'émission, si il n'est pas encore connu par le système, lui indiquant une indisponibilité temporaire et donc de réssayer l'envoi un peu plus tard. Partant du principe que les serveurs de spam ne sont pas conçus pour gérer ce type de cas, les emails indésirables sont bloqués. Une fois réémis par l'émetteur, l'email est alors accepté, et l'adresse est validée par la liste grise.</li>
<li><strong>Bouton Spam.</strong> Les statistiques des FAI indiquent que de nombreux utilisateurs cliquent sur le bouton de Spam pour tous les emails indésirables, qu'il s'agisse réellement un spam ou juste pour se désabonner.</li>
<li><strong>Dossier Spam.</strong> Certains emails qui passent les filtres des FAI sont placés directement dans le dossier de Spam. Ils sont alors effacés automatiquement sauf si l'utilisateur les déplacent manuellement dans sa boîte de réception, et les marque comme non spam ou qu'il ajoute l'émetteur dans sa liste blanche personnelle.</li>
</ul>
<p>Vous en savez maintenant un peu plus sur les différentes étapes par lesquelles passent vos emails ...</p>https://www.footcow.com/index.php/post/2008/10/21/La-vie-dun-email#comment-formhttps://feeds.feedburner.com/FootcowBlog/comments/43