Constat et évolution

Tout d’abord Gearman qui était idéal sur le papier s’est avéré très instable à l’usage, comme l’ont constaté d’autres développeurs sur la liste de diffusion. Ils ont l’air malgré tout d’avoir confiance en leur produit car ils vont ouvrir un service d’hébergement de files d’attente basé sur German : GearmanHQ.

Après quelques recherches je me suis finalement dirigé vers un serveur de files qui implémente le protocole AMQP ce qui permet de ne pas dépendre d’un serveur en particulier. Plusieurs serveurs libres l’implémentent, comme RabbitMQ (racheté par VMware), ActiveMQ ou Qpid.

L’autre problème est venu des workers qui traitent les données envoyées par le client desktop ( nodecast-gui ). Le code Ruby était tellement lent qu’il fallait parfois plus de 1 minute pour effectuer un traitement de parsing et insertion dans MongoDB. Je pense que le problème venait de la pile Ruby / Mongoid / Mongodb ruby driver et non de Ruby seul, mais il n’est tout simplement pas concevable que le worker qui intègre dans la base les processus utilisateur met plus ou moins 2 minutes pour effectuer 1 traitement avec une charge CPU maximale.

J’ai donc décidé de récrire les workers ainsi que le dispatcher, en C++ avec l’aide de Qt. Mes tests en développement sont passés à moins de 1 seconde sur le worker process, le plus lourd…. Evidemment l’effort de développement est certes plus conséquent mais les résultats sont largement payant pour que cet investissement technique paye.

Qpid quant à lui s’est pour l’instant imposé de lui même, car il est le seul à proposer une API C/C++ fonctionnelle. Des plugins permettent de lui ajouter une persistance sur disque, des fonctionnalités de cluster, du support SSL et XML en natif. Il fait d’ailleurs partie du coeur de la solution de Red Hat Enterprise MRG. Cette architecture représentée par le schéma plus bas reste tout de même à valider par l’épreuve du feu de la production.

Ingénierie

Néanmoins il est à mes yeux évident qu’un service web ayant pour objectif à moyen/long terme la prétention de monter en charge, se doit d’avoir une architecture scalable et cela dès sa conception. C’est toute la différence entre créer un site web et créer une architecture web, ou bien entre le développement logiciel et l’ingénierie logicielle. Cette dernière implique une réflexion sur les méthodes de travail, les outils à utiliser, qu’ils soient ceux utilisés par les développeurs que ceux à utiliser dans l’architecture;  la veille techno, etc. En somme tout ce qui permet d’optimiser sa productivité, l’architecture mise en place n’en sera que le reflet, réussi ou pas, de ces choix…

Voici un exemple du résultat de l’ingénierie logiciel avec cette présentation de l’architecture logicielle de la nouvelle version de LinuxFR.org l’un des plus gros site technique francophone.

Implémentation

Pour revenir à Nodecast, les workers utilisent les drivers natifs de memcached, pour invalider le cache dont la page a été mise à jour, de MongoDB et de Qpid, ce qui permet, en ayant aucune couche d’abstraction intermédiaire d’obtenir les performances maximales. Le framework Qt permet d’obtenir une certaine simplification du développement, grâce entre autre aux signaux, même si en effet la bibliothèque Boost intègre cette fonctionnalité.

J’ai développé nodecast-worker de manière relativement générique afin qu’il instancie la bonne classe worker selon le paramètre –worker-type fourni en argument :

nodecast-worker --memcached-ip=127.0.0.1 --memcached-port=11211 
--mongodb-ip 127.0.0.1 --mongodb-base=nodecast_prod --qpid-ip=127.0.0.1 
--qpid-port=5672 --worker-type=process

L’usage du serveur de file Qpid, permet outre le fait de rendre les traitements asynchrones, de monter un cluster de worker d’un même type sans développement particulier. En effet chaque worker s’abonne à la même file d’attente Qpid de type pub/sub (amq.topic). Une routing key appliquée par le dispatcher sert à taguer chaque message envoyé dans la file d’attente. Ainsi les workers filtrent les messages qui leur sont destiné, par exemple le tag worker.cpu pour le worker qui va traiter les messages qui contiennent les données de CPU envoyées par le client desktop nodecast-gui.

Comme il est possible de lancer plusieurs instances worker du même type, chacun des worker dépile la même file taguée ce qui permet de répartir la charge sur plusieurs processus, voir aussi de la répartir sur des machines physiques différentes puisque les workers utilisent des connexions TCP … !

Pour comprendre les rouages et le potentiel d’une telle architecture, je conseille la lecture de ces 2 excellents articles sur l’utilisation d’un serveur AMQP : Introduction à RabbitMQ – AMQP Partie I et Introduction à RabbitMQ – AMQP Partie II

Pour finir sur cet épisode, ce développement me met de plus en plus la puce à l’oreille sur la nécessité de développer un framework / service qui permettrait le développement rapide de workers, de les enchaîner, les monitorer en temps réel et de les administrer. Ce framework / service proposerait en outre l’accès à une multitude de bibliothèques et d’API vers des services externes afin de pouvoir implémenter n’importe quelle idée, de manière rapide, stable et scalable. Cela éviterait de devoir redévelopper la roue et de devoir gérer toutes les exceptions inhérente à l’utilisation d’API bas niveau (timeout, déconnexion, reprise, exception, start/stop, …). En quelque sorte un tarpipe OpenSource mais qui permettrait d’utiliser n’importe quel langage script ou langage compilé. Comme on dit, je dis ça, je dis rien

Workflow

Le schéma suivant montre l’architecture en court de développement du backend de Nodecast. On y voit les 3 paliers asynchrones par lesquelles transite le traitement d’un message.

nodecast architecture

Palier 1

Le premier palier nécessite 7 étapes.

1. Le client nodecast extrait les données système de la machine, génère un XML et l’envoie par un POST (ajout) ou un PUT (update) HTTP.
2. le serveur web Nginx fait suivre la requête vers le cluster web Thin.
3. Thin exécute via rack le DSL Sinatra qui sert à créer simplement l’API REST de nodecast.
4. Ce dernier vérifie dans MongoDB les droits d’accès (couple email / token) grâce à un auth basic request HTTP transmis par le client,
5. Si l’autorisation a réussie, le code Sinatra stocke le XML dans le GridFS mongoDB, génère une collection de hash et transmet la charge dans queue dédiée au dispatcher.
6. Le code sinatra génère un XML de réponse au client.
7. NGinx le fait suivre au client, ce qui termine du point de vue utilisateur le traitement.

L’objectif de ce palier est d’être le plus minimaliste possible afin qu’une autre requête puisse être traité avec le moins d’attente possible. L’auth, la conception de la charge, sa transmission et la réponse au client sont malgré tout chacune nécessaire. Dans cette architecture asynchrone il n’est pas possible de signaler dans la même passe, la bonne fin du traitement à moins de revenir à une architecture synchrone non scalable… A vrai dire il n’est de toute manière pas nécessaire de le signaler puisque le service tourne en arrière plan sur le poste utilisateur.

Palier 2

La transmission de la charge utilise 2 canaux AMQP direct : dispatcher.update ou dispatcher.add. Le dispatcher est lancé selon cette ligne de commande :

 nodecast-dispatcher --mongodb-ip 127.0.0.1 --mongodb-base=nodecast_prod 
--qpid-ip=127.0.0.1 --qpid-port=5672

1. Il écoute les 2 files d’attente puis lors de la réception d’une charge, il vérifie l’existence de l’hôte à mettre à jour si c’est un update ou bien créé l’hôte si c’est un ajout.
2. Il injecte ensuite le XML extrait du GridFS dans un QHash Qt. Il sérialise ce QHash et envoie par AMQP la partie dédiée à chaque file de chaque worker concerné (hash["network"] pour le worker network par exemple). En clair, le XML est découpé et chaque morceau est envoyé dans la file d’attente de chacun des workers.

Palier 3

1. Tous les workers sont lancés et écoutent la file d’attente amqp.topic sur leur tag respectif (worker.cpu, worker.load. worker.uptime, worker.network, worker.memory, worker.process).
2. A réception d’un message, ils le sérialisent, mettent à jour la base de donnée puis invalident le cache de leur page web associée.
3. Ils transmettent via syslog leurs statuts et leurs exceptions.

Avenir

A ce jour les workers process et cpu ont été réécrit et fonctionnent. Il reste l’implémentation des logs vers syslog ou AMQP afin de tracer les traitements des workers via des streams Graylog2.

Je souhaite remplacer Memcached par Redis pour profiter de ses très intéressantes fonctionnalités. Migrer le frontal web de Rails 2 vers la version 3. Stabiliser le client desktop et lui ajouter toutes les fonctionnalités de la lib SIGAR. Développer un client Android. Terminer le rework et Dominer le Monde

- Vendetta Online on Ubuntu Linux -
For the last few months we've been working with Canonical, the company behind 
Ubuntu Linux, to be one of their featured products in the new Software Center 
being rolled out as part of the Ubuntu 10.10 "Maverick Meerkat" release. This Software 
Center will basically bring app-store type functionality to Linux, something that could 
greatly help the platform in gaining acceptance as a desktop OS, and allow easy access 
to a variety of software that exists outside the open-source world 
(such as commercial videogames).
Vendetta Online should appear in the new Software Center sometime next week. 
We were intended to be a debut partner with the OS launch (on10/10/10), but a few 
delays popped up here and there; those have now been addressed and we're confident 
you'll see our title appear there in the near future.

Je faisais parti d’une association, RubyFrance , dont le but est la promotion du langage Ruby dans la francophonie et localement. Or je réalise l’énorme erreur du combat qui était le mien. En effet je réalise qu’essayer de promouvoir une technologie moderne et innovante tel que Ruby et Rails est une perte de temps dans une région qui a 10 ans de retard sur Paris et où il n’y a aucune startup ou presque qui s’y développe !

Avant de vouloir décentraliser le Web il faudrait avant penser à décentraliser le travail. Pourtant le constat à faire est simple, les entreprises et startups dans la capitale ont beaucoup de mal à dénicher des développeurs, or il faudrait peut être réaliser que le coût du logement ne fait qu’augmenter que ce soit en location ou en achat, les transports qui ne font que se dégrader, le cadre de vie au final est de moins en moins attrayant pour tout le monde à Paris.

J’ai dans mon réseau de nombreux développeurs et administrateurs systèmes extrêmement compétant qui ne vivent pas dans la capital, et pourtant les startups française s’entête à ne recruter physiquement que sur Paris, façon 20ème siècle. Etrange façon de voir l’innovation …

Il existe pourtant au moins 2 manières de “dé-Minitiliser” le travail. Par le télétravail bien entendu, qui n’a cure des grèves des transports lui… Il faut cependant que l’entreprise intègre ce mode de travail, en possédant les outils et l’organisation adéquate et que cela convienne aux employés concernés. L’autre solution est de n’avoir que des bureaux commerciaux sur la capital, et de décentraliser les bureaux techniques en province. Cette 2ème solution n’offre que des avantages et peut de plus y associer le télétravail pour certains employés.

Cependant comment promouvoir des technologies productive, Méthodes Agiles / Redmine / Git / Ruby on Rails / NoSQL / Linux / …, lorsque l’environnement professionnel local reste figé sur des architectures synchrones d’un autre siècle en PHP / Java / DotNet / SqlServer,  avec comme méthode de développement le cycle en V … ?

Pour illustrer, j’avais rencontré à Lyon début 2010, un entrepreneur qui se prenait pour un techos, et qui souhaitait monter un site de recrutement avec webcam (rien de révolutionnaire sauf pour lui). Le tout en PHP / MySQL, ce qui déjà n’est pas d’une grande innovation et inutile de parler framework web type Symfony ou Ruby on Rails, inconnus … J’ai bien compris que c’était pour des questions de coût, et qu’il sous entendait migrer ensuite sur DotNet / SqlServer, parce que c’est plus sérieux quand même … De plus monter un tel site n’était pour lui qu’un assemblage de briques OpenSource existante, sans grande difficulté…

Quand on atteint un tel niveau de nullité, il y a quoi à espérer ? Inutile de dire que le site ne verra sans doute jamais le jour, et surtout pas le succès escompté.

Je réalise que j’ai pris le problème à l’envers, il est nécessaire de pousser la création d’un écosystème local d’entreprises innovantes avant de pousser les technologies associées. Un équivalent Lyonnais de http://paris.startupweekend.org serait le bienvenu !

Lors d’une précédente expérience professionnelle en 2007 (AF83) j’avais mis en oeuvre des techniques de répartition de charge via des traitements asynchrones pour le développement d’un microblog/chat web. Je cherchais depuis à réutiliser ces technologies, ce qui m’a poussé au développement de Nodecast.

Or si à l’époque le domaine des serveurs de message queues était encore balbutiant, il a nettement évolué depuis. En effet à l’époque après en avoir testé quelques uns, j’avais fini par me résoudre à utiliser le protocole XMPP via un serveur Jabber. Il faut bien avouer que la mise en œuvre a été plutôt ardu. XMPP est un bon protocole mais il est au final peu adapté pour un simple système de file d’attente, trop verbeux et la librairie Ruby XMPP4R faiblarde, à l’époque en tout cas.

Depuis les serveurs de file d’attente ont poussé comme des champignons, et certains sont même dérivés de serveur type clé/valeur.  J’ai pour ma part choisi Gearman qui me parait une bonne technologie depuis sa réécriture en C, et c’est un bon compromis fonctionnalités / simplicité / performances. Avant d’aller plus loin je préfère présenter le schéma de l’architecture du site, ce qui rendra plus aisé les explications.

Architecture

La partie droite en orange représente le site web. Nginx transmet les requêtes HTTP vers un pool de services Thin qui est un serveur web applicatif, il est en charge d’exécuter l’application en Ruby on Rails. Pour des raisons de performances et efficacité, j’ai choisi d’utiliser une base de données NoSQL, mongoDB.

La partie intéressante est celle à gauche représentée par le nuage gris. En effet il représente les services en charge de l’API.

API asynchrone

L’API est ici une API REST. Le client en Qt effectue donc simplement des requêtes HTTP afin de communiquer avec le service web. Il fait des POST pour l’ajout de données, des PUT pour la modification et des GET pour la consultation.

Plus le client envoi des données sur un court délai, plus les statistiques seront détaillées. Le problème est que cela génère une multitude de connexions et donc de traitement. Et plus il y en a, plus la réponse au client sera longue, ce qui va dégrader la qualité de service. Bien entendu la solution est de rendre asynchrone les traitements afin que la réponse au client soit la plus rapide possible.

Cela est représenté par l’échange 1 et 2 entre le serveur Nginx et le serveur thin.

Client <-> serveur

Lors d’un POST, le client va demander la création d’une donnée au service. Ici il s’agit de la création d’une nouvelle machine (host) à monitorer. Le workflow est le suivant :

1. client Qt POST les datas
2. serveur sinatra authentifie le client
3. serveur sinatra génère un identifiant unique (UUID)
4. serveur sinatra sérialize les datas, et transmet la charge à Gearman dans la file d’attente du dispatcher
5. serveur sinatra renvoi au client un XML contenant l’identifiant unique
6. le client stocke cet identifiant et l’utilisera pour tous les prochains échanges

Le principe ici est que le serveur sinatra ne fasse que le strict minimum, afin de répondre le plus rapidement et d’être disponible pour une prochaine requête. Ainsi même sous une charge importante, les requêtes transmises par les clients Qt, seront empilé et mise en attente au chaud dans le serveur de file Gearman.

Pour une requête PUT le workflow est plus simple puisque l’étape 3 est supprimée. Le serveur sinatra renvoi dans tous les cas un XML contenant le status “proceed” afin de signaler au client que sa requête a été prise en compte.

L’intérêt de Sinatra est qu’il est très simple à mettre en oeuvre ce qui en fait à mon avis un candidat idéal pour servir une API. Le code du serveur tiens d’ailleurs dans un seul fichier :

#!/usr/bin/env ruby
require 'rubygems'

require 'gearman'

require "bundler"
Bundler.setup
Bundler.require(:default)

RAILS_ENV="production"

#Gearman::Util.debug = true
SERVERS = ['localhost:4730']

@@logger = Logger.new('log/server.log', 'daily')
@@logger.debug("Created logger")

File.open(File.join('../config/database.mongo.yml'), 'r') do |f|
 @settings = YAML.load(f)[RAILS_ENV]
end

Mongoid.configure do |config|
 name = @settings["database"]
 host = @settings["host"]
 config.use_object_ids = @settings["use_object_ids"]
 @@logger.info "database : #{name}"
 @@logger.info "host : #{host}"
 config.master = Mongo::Connection.new.db(name)
 # config.slaves = [
 #                Mongo::Connection.new(host, @settings["slave_one"]["port"], :slave_ok => true).db(name)
 #               ]
end

require 'models_mongoid/user.rb'
require 'models_mongoid/profil.rb'
require 'models_mongoid/host.rb' 

set :logging, true

helpers do
 def protected!
 unless authorized?
 response['WWW-Authenticate'] = %(Basic realm="Nodecast HTTP Auth")
 throw(:halt, [401, "Not authorized\n"])
 end
 end

 def authorized?
 @auth ||=  Rack::Auth::Basic::Request.new(request.env)
 @current_user = User.where(:email => @auth.credentials.first, :authentication_token => @auth.credentials.last).first
 @auth.provided? && @auth.basic? && @current_user
 end
end

post '/hosts.xml' do
 protected!
 xml = Crack::XML.parse(request.body.read)
 @@logger.info("#{Time.now} : RECEIVE CREATE")

 uuid = UUIDTools::UUID.timestamp_create.to_s

 host = {
 :user => @current_user.email,
 :uuid => uuid,
 :timestamp => Time.now.utc,
 :datas => xml
 }

 payload('dispatcher_add', host)

 builder do |xml|
 xml.instruct!
 xml.host do
 xml.uuid host[:uuid]
 end
 end
end

put '/host/update/:id' do
 protected!
 xml = Crack::XML.parse(request.body.read)
 @@logger.info("#{Time.now} : RECEIVE UPDATE")

 host = {
 :user => @current_user.email,
 :uuid => params[:id],
 :timestamp => Time.now.utc,
 :datas => xml
 }

 payload('dispatcher_update', host)

 builder do |xml|
 xml.instruct!
 xml.host do
 xml.status "proceed"
 end
 end
end

private

def payload(worker, data)

 client = Gearman::Client.new(SERVERS)
 taskset = Gearman::TaskSet.new(client)

 #task = Gearman::Task.new('update', Marshal.dump(host), :background => true, :poll_status_interval => 1)
 task = Gearman::Task.new(worker, Marshal.dump(data))
 task.on_complete {|d| @@logger.info "complete : #{d}" }  

 task.on_warning {|w| @@logger.info "[client] warn: #{w}" }
 task.on_fail {|f| @@logger.info "[client] calculation failed : #{f}" }
 taskset.add_task(task)  
end

On voit bien ici que “post ‘/hosts.xml’ do” et ‘put ‘/host/update/:id’ do” permettent de répondre très simplement aux requêtes POST et PUT des clients. Pour le reste on voit bien que le serveur ne fait que préparer un Hash avec l’XML transmis par le client, un timestamp, l’uuid du host et l’id de l’utilisateur. Ce Hast est ensuite sérialisé puis la charge est envoyée dans la file d’attente du dispatcher.

Dispatcher <-> workers

Comme on le voit dans le code les traitements sont envoyés dans la file d’attente sur 2 canaux : “dispatcher_update” et “dispatcher_add”. Il y a donc un processus Ruby qui attend des traitements sur ces canaux afin de les préparer puis les transmettre à chaque worker. J’avais tout d’abord un seul worker, mais il est beaucoup plus intéressant de le découper en plusieurs workers spécifiques à une tâche. En effet des utilisateurs peuvent décider de ne pas envoyer les informations relatives au CPU ou bien au réseau. De fait les worker auront la charge qui correspond au contenu des requêtes transmises.

Le dispatcher ne dépend pas des traitements à effectuer, son rôle est de découper le traitement en de multiples sous-traitement qu’il transmet dans le canal de chaque worker. Si les traitements sont lourds il peut malgré tout continuer à les répartir dans chacun des canaux, quelque soit la charge en cours.

Les traitements se font réellement dans chaque worker. Ils désérialisent les données reçues de leur file d’attente, puis les stocke dans mongodb. Voici un des workers dédié au traitement des load :

#!/usr/bin/env ruby
require 'rubygems'

gem 'mongoid', '1.9.0'

require 'mongoid'
gem 'gearman-ruby', '3.0.1'
require 'gearman'
require 'uuidtools'

require 'logger'
require 'yaml'
require 'optparse'
require "pp"

options = {}

optparse = OptionParser.new do |opts|
 opts.on('-w', '--work WORK', 'path to the work directory') do |work|                                        
 options[:work] = work
 end
 opts.on('-m', '--mongo MONGO', 'path to the mongo file') do |mongo|                                        
 options[:mongo] = mongo
 end
 opts.on('-e', '--env ENV', 'rails environment') do |env|                                        
 options[:env] = env
 end
end

begin
 optparse.parse!
 mandatory = [:work, :mongo, :env]
 missing = mandatory.select{ |param| options[param].nil? }
 if not missing.empty?
 puts "Missing options: #{missing.join(', ')}"
 puts optparse
 exit
 end
rescue OptionParser::InvalidOption, OptionParser::MissingArgument
 puts $!.to_s
 puts optparse
 exit
end

puts "Performing task with options: #{options.inspect}"            

#Gearman::Util.debug = true if options[:env] == "development"

servers = ['localhost:4730']
@@worker = Gearman::Worker.new(servers)

logger = Logger.new("#{options[:work]}/log/worker_stats_load.log", 'daily')
logger.debug("Created logger")

File.open(File.join("#{options[:mongo]}/database.mongo.yml"), 'r') do |f|
 @settings = YAML.load(f)[options[:env]]
end

Mongoid.configure do |config|
 name = @settings["database"]
 host = @settings["host"]
 config.use_object_ids = @settings["use_object_ids"]
 logger.info "database : #{name}"
 logger.info "host : #{host}"
 config.master = Mongo::Connection.new.db(name)
 # config.slaves = [
 #                Mongo::Connection.new(host, @settings["slave_one"]["port"], :slave_ok => true).db(name)
 #               ]
end

require "#{options[:work]}/models_mongoid/user.rb"
require "#{options[:work]}/models_mongoid/profil.rb"
require "#{options[:work]}/models_mongoid/host.rb"
require "#{options[:work]}/models_mongoid/osystem.rb" 

require "#{options[:work]}/models_mongoid/host_ram.rb"
require "#{options[:work]}/models_mongoid/host_cpu.rb"
require "#{options[:work]}/models_mongoid/host_network.rb"
require "#{options[:work]}/models_mongoid/host_last_comment.rb"
require "#{options[:work]}/models_mongoid/host_stats_uptime.rb"
require "#{options[:work]}/models_mongoid/host_stats_load.rb"
require "#{options[:work]}/models_mongoid/host_stats_network.rb"
require "#{options[:work]}/models_mongoid/host_stats_cpu.rb"
require "#{options[:work]}/models_mongoid/host_stats_memory.rb" 

require "#{options[:work]}/models_mongoid/load_statistic.rb" 

########## JOB UPDATE STAT ############
@@worker.add_ability('update_load') do |data,job|

 dump = Marshal.load(data)

 xml = dump[:push]
 host = Host.where(:uuid => dump[:uuid]).first

 host_load = {
 :created_at => dump[:timestamp],
 :updated_at => dump[:timestamp],
 :loadavg0 => xml[:loadavg0],
 :loadavg1 => xml[:loadavg1],
 :loadavg2 => xml[:loadavg2]
 }    

 begin

 ls = host.load_statistics.create(host_load)
 logger.info "LOAD stats created"

 loadavg0 = 0.0
 loadavg1 = 0.0
 loadavg2 = 0.0

 host.load_statistics.each do |stat|
 loadavg0 += stat.loadavg0
 loadavg1 += stat.loadavg1
 loadavg2 += stat.loadavg2
 end

 if !host.stats_load
 host.create_stats_load(
 :created_at => dump[:timestamp],
 :updated_at => dump[:timestamp],
 :number => 1,
 :loadavg0 => ls.loadavg0,
 :loadavg1 => ls.loadavg1,
 :loadavg2 => ls.loadavg2,
 :max0 => ls.loadavg0,
 :max1 => ls.loadavg1,
 :max2 => ls.loadavg2
 )
 else      
 host.stats_load.updated_at = dump[:timestamp]
 host.stats_load.number += 1

 host.stats_load.max0 = ls.loadavg0 if ls.loadavg0 > host.stats_load.max0
 host.stats_load.max1 = ls.loadavg1 if ls.loadavg1 > host.stats_load.max1
 host.stats_load.max2 = ls.loadavg2 if ls.loadavg2 > host.stats_load.max2

 host.stats_load.average0 = loadavg0 / host.stats_load.number
 host.stats_load.average1 = loadavg1 / host.stats_load.number
 host.stats_load.average2 = loadavg2 / host.stats_load.number

 host.stats_load.loadavg0 = ls.loadavg0
 host.stats_load.loadavg1 = ls.loadavg1
 host.stats_load.loadavg2 = ls.loadavg2

 host.save
 end

 logger.info "Embedded host load stats updated"

 rescue => e
 logger.info "failed on update : #{e}"
 raise Exception.new("failed on update : #{e}")
 end

end

loop do
 @@worker.work
end

Avantages

En cas de soucis sur les workers, ceux-ci pourront être stoppé sans problème même en production. Grâce au découplage mis en place, les traitements sont tous simplement en attente dans leur file d’attente. Il y a intérêt à avoir un serveur d’API très basique (ici le code dans Sinatra) afin d’éviter au maximum les éventuels plantages ou corruption des données, et de plus cela le rend, comme je l’ai déjà dis, plus rapide.

Evolution

Cette architecture est encore basique car ne tourne que sur une seule machine. Cependant les technologies employées permettront de la répartir sur plusieurs machines très simplement. Tout d’abord au niveau de mongoDB via des slaves. Puis en démarrant plusieurs démons Gearman. Les workers pourront ainsi dépiler leurs jobs sur l’un des serveurs Gearman du cluster.

Ensuite il pourra être intéressant que chaque worker log dans mongoDB ses tâches et ses temps de traitement afin de détecter les éventuels bottleneck. Gearman possède également une multitude d’options comme pouvoir rendre prioritaire un job.

Enfin il est bien entendu approprié que le front web puisse utiliser l’API afin d’effectuer des traitements lourds demandés par l’utilisateur.

Qu’est-ce que le desktop 2.0 ?

Historiquement le desktop est composé de logiciels installés sur une machine et qui au mieux dans certains cas communiquent entre eux. On télécharge le logiciel, on l’installe, on le paramètre si nécessaire et on l’utilise. Cette description n’a pas changé depuis environ 25 ans. Pour une mise en perspective, le web qui est venu bien après, qui est complexe à faire évoluer techniquement et administrativement, a régulièrement évolué et fait un bond en avant avec HTML5 : http://slides.html5rocks.com/#slide3

Le desktop 2.0 pourrait être un desktop qui utilise Internet afin de proposer des fonctionnalités supplémentaires. A priori ca existe déjà, par exemple iTunes qui permet de consulter le store d’Apple et d’y faire des achats depuis une interface native. Sauf que iTunes n’est qu’un logiciel qui intègre le moteur d’un navigateur web afin de présenter de manière un peu mieux intégré au desktop le store et surtout de gérer les DRM sur les fichiers achetés…

L’intérêt d’Internet est essentiellement de pouvoir partager et communiquer, consommer n’étant qu’une forme particulière de partage sous contrainte.

Mais pour moi il ne représente en aucun cas un but final. Dans les années 2000 on disait “il FAUT être sur Internet”. C’est une perception complètement erronée de l’outil ce qui a à mon avis complètement pervertie notre conscience. En effet, à l’époque le contexte était qu’il fallait y être en ayant un site web. Maintenant en 2010 il FAUT y être en ayant des suites bureautiques en web, des systèmes d’exploitation en web, et toute une suite de logiciels, en web …

Joost le fameux logiciel de vidéo en P2P par les créateurs de Kazaa est mort soit disant car il fallait installer un logiciel… Bullshit !!! La version full web est tout aussi morte. Joost est mort car il n’y avait pas de contenu. Et il y en avait pas car le seul contenu autorisé venait que des partenaires … Ca s’appelle la télévision ça, ce n’est pas Internet.

De fait la vision que nous avons d’Internet n’a pas changé depuis ses premiers pas ! Une vision très restrictive de l’outil.

Si le desktop 2.0 ne ressemble pas aux iTunes like, si ce n’est pas des applications web, qu’est-ce qu’il est ?

Le desktop 2.0 existe déjà

Plutôt que de décrire la chose avec des métaphores et des descriptions techniques autant prendre l’exemple parlant du seul gars qui a compris ce que c’était, qui l’a même pratiquement inventé et industrialisé à grande échelle : Steve Jobs.

Quoi encore lui ! bin oui … l’iPhone c’est quoi ? C’est un ordinateur (de poche) capable d’aller sur Internet (comme un ordinateur avec un abonnement Internet), et un kit de développement, le tout suffisamment bien conçu pour rendre n’importe quelle application web2 ridicule.

Attention tous les mots de cette phrase ont leur importance, notez d’ailleurs l’absence du mot téléphonie, car ne m’intéresse pas dans le contexte de ce billet. Et d’ailleurs le succès de l’iPad en rajoute une couche puisqu’il ne fait pas téléphone …

l’iPhone et maintenant l’iPad implémententent le desktop 2.0, car :

• Les applications sont natives. Ce qui rend “l’expérience utilisateur” (comme on dit), beaucoup plus fun, car cela apporte :
  • La réactivité
  • L’intégration au bureau
  • L’accès aux extensions matériel actuelles et à venir (3D, GPS, gyroscope, accéléromètre, …)

Et qui dit fun, dit j’utilise plus facilement qu’une application web qui ne peut pas avoir ces avantages. Qui dit j’utilise dit je suis potentiellement prêt à payer.

• Les applications utilisent Internet. Et je parle bien des applications pas uniquement du navigateur web !
• Les applications sont faciles à trouver, à installer et à mettre à jour grâce à l’AppStore.

NATIF, INTERNET, STORE

Ces 3 termes définissent bien la chose. On peut faire un paquet de reproches justifiés à Jobs, par contre on ne peut pas lui enlever la vision qu’il a eu. Car il ne suffit pas de dire je vais faire un téléphone qui peut aller sur Internet, ca existait déjà avant l’iPhone. Il faut imaginer ces 3 concepts, faire fabriquer le matériel qui tient la route, développer les logiciels et les services, et intégrer le tout de manière cohérente.

Google a d’ailleurs bien compris la leçon, et le confirme avec le succès d’Android.

Et le PC ?

NATIF ?

De manière historique les applications sont natives, mais pour diverses fausses bonnes raisons (déploiement et mise à jour) beaucoup d’applications “professionnelles” sont uniquement en web (IE6).

INTERNET ?

Depuis le début d’Internet les PC y accèdent. Sauf qu’ici dans la description du desktop 2.0 je parle des applications. Or il faut bien avouer qu’à part le navigateur web il n’y a pas beaucoup d’applications qui exploitent Internet, même en 2010 !!!

STORE ?

Gros point d’avance pour Linux qui possédait un “store” depuis la naissance de Debian au moins, dans les années 90 (et voui). Nous parlons de dépôts. De nos jours toutes les distributions en possèdent un et il permet de plus de mettre à jour tout le système et pas uniquement les applications utilisateurs !

Hormis Linux point de salut du côté de Windows et MacOS, même si des rumeurs d’appstore pour MacOS X ont circulé.

Arguments

NATIF !

Parmi les arguments en faveur d’une application native qui aboutissent à une “expérience utilisateur” agréable, il y en a une autre loin d’être négligeable pour le développeur, la facilité de développement. Il faut certes maitriser la technologie nécessaire à développer une application native, mais d’une part le choix est vaste sur un PC, et d’autres part une application web “équivalente” va nécessiter la maitrise d’un paquet de technologies côté client (Javascript, HTML, XML, CSS) pour un résultat bien inférieur et la maîtrise de plusieurs boites à outils nécessaires à débuger tout ça.

Pourquoi est-ce si pénible ? Tout simplement parce que le web n’a jamais été prévu pour développer des applications mais simplement pour afficher des pages … Bien sûr l’HTML5 vise à remédier à ces lacunes, mais cela restera malgré tout en deçà de n’importe qu’elle application native correctement développé et intégré. Et ne parlons même pas de l’exploitation de périphériques matériel ou même de la 3D, webgl commence à peine à être intégré à certains navigateurs web, en 2010 …

Enfin une botte secrète du web est la compatibilité de l’application quel que soit l’OS. Je balaie cela d’un revers de la main, car du coup on a renvoyé vers le développeur la complexité de la chose ainsi que vers le navigateur, on se rappelle tous des années de lutte à faire respecter les standards afin d’afficher et pouvoir utiliser correctement une application web… De plus une bibliothèque comme Qt est multi-plateforme, il n’y a qu’à voir Skype ou Opera. Et bien entendu Java (Eclipse, …)

Pour en revenir au faux exemple de Joost, devoir installer une application n’est pas une contrainte. Les succès de Skype, Dropbox, Spotify, iTunes, … le prouvent. Le frein est simplement la nullité d’une mauvaise application.

INTERNET !

Un des avantages d’une application web et ce qui a entre autre expliqué leur explosion est le fait de pouvoir tout stocker côté serveur. L’utilisateur a ainsi qu’à se rappeler de son login et mot de passe pour retrouver toutes ses données. Or rien empêche une application native de faire de même ! Elle peut même faire en sorte de stocker en local si une coupure au réseau survient.  C’est précisément ce que vient combler l’HTML5 pour les applications web …..

Les développeurs d’applications natives pour iPhone ont eux bien compris l’intérêt et ne s’en prive pas. Internet devient de fait ce pour quoi il est bon : stocker, présenter et partager des données. L’application native se contente elle de faire ce pour quoi elle est bonne : faire l’acquisition des données via l’utilisateur et/ou des extensions matériels (GPS, accéléromètre, gyroscope, …) et rendre cela agréable en exploitant au maximum les capacités du matériel.

Alors peut être qu’il y aura un jour une version d’HTML qui va permettre d’accéder au GPS … laule…

Un exemple concret de l’intérêt d’Internet ? Prenons un logiciel natif comme un client mail qui propose des fonctionnalités complémentaires comme la lecture de flux RSS. La personnalisation de ces flux comme l’ajout et leur catégorisation nécessite un certain temps. Or si vous avez un laptop comme ordinateur secondaire, ou bien celui du boulot, vous devrez refaire ce travail redondant de paramétrage, et je ne parle même pas qu’un article lu depuis son travail sera marqué non lu chez soi… Si ce logiciel pouvait sauvegarder sa configuration et ses données sur Internet, il suffirait d’une simple synchronisation pour se faciliter là vie.

A remarquer que la Mozilla Fondation a très bien compris cela puisque qu’elle propose l’extension Firefox sync, ainsi que Google chrome qui gère ça nativement. A leur avantage ces 2 entités ont de très forte compétences en développement client et serveur, ce que n’a pas forcément le développeur d’une application desktop lambda. Remarque importante pour la suite de cet article.

STORE !

L’autre avantage d’une application web était sur les déploiements et les mises à jour. Cependant grâce aux stores cet argument s’efface, et pour les OS préhistorique qui ne gère pas encore cette fonctionnalité, il parait trivial d’ajouter cela au sein même de l’application …

De plus un store permet de faciliter la vente de son application, ce qui est loin d’être négligeable. Côté Linux seul Canonical semble le comprendre et faire un pas dans ce sens. Il semble que le “petit” milliard de dollars reversé par Apple aux développeurs iPhone, ait fini par convaincre, il était temps !

QUEL AVENIR

du Desktop

D’un côté il va y avoir le fameux Chrome OS qui est là pour renforcer la présence des applications Google. Le truc drôle c’est qu’eux ont bien compris les limitations du web, aussi compétent soient-ils, et aussi bien HTML5 soit-il. Donc afin de rendre les applications web plus agréable et pour pouvoir développer tout type d’application, ce qui est important lorsqu’on a la prétention de faire un OS grand public, ils proposent le plugin Chrome nativeclient qui va permettre de développer des applications … natives … à l’intérieur de Chrome ! On marche sur la tête ?!

Ou quand le web réinvente le natif afin de combler ses propres lacune tout adaptant à son monde ce qui fait le succès d’Apple… Et bien entendu Google étant loin d’être bête va proposer son “store” market pour son OS.

De l’autre, il est heureux de constater certains réveil, encore une fois via Canonical avec son Ubuntu One. Ce service permet de stocker et synchroniser ses données sur Internet via les programmes qui supporte desktopcouch. Et ceci est la réponse aux programmeurs qui n’ont pas les compétences ou l’envie de développer eux mêmes ces fonctionnalités. Il était temps qu’un éditeur d’OS propose ce type d’API à ses développeurs !

Pour pousser le concept un peu plus loin, je rêverais d’un OS qui me permette, suite à son installation, de télécharger automatiquement tous les logiciels que j’utilise sur mon PC principal ainsi que toutes les préférences associées à ces logiciels.

Ces informations personnelles mais pas vraiment critique, pourrait même être partagée via un réseau social si l’utilisateur le souhaite.

du Réseau Social

Ce secteur à la mode a ceci de particulier qu’il est le révélateur flagrant de cette dualité web / desktop. Par exemple, au départ ces applications web de type Facebook étaient complètement fermées et uniquement accessible depuis un navigateur web. Avec la mode web2, ils se sont ouvert via des API ce qui a permis de faire émerger une multitudes d’applications natives pour mobile, puis pour PC.

Quand le web redécouvre l’intérêt du bon vieux client natif… Cependant on en est toujours sur du vertical, une application dédié à un service.

C’est ici que débarque le très intéressant social desktop et son OCS API, une API qui doit permettre l’accès des applications natives à des réseaux sociaux. En effet il est complètement aberrant qu’il faille utiliser une application en particulier pour faire du social ! Cette pratique est complètement transverse est de fait n’importe quelle application est capable de présenter un intérêt social ! Que cela soit d’intégrer le service Gitorious dans un IDE, comme QtCreator qui le fait, ou bien intégrer l’API d’un site de recettes de cuisine à des logiciels de gestion des courses….

Le social est transverse, il est ridicule de devoir utiliser un client dédié ou bien même un serveur en particulier… Côté serveur le très intéressant microblog décentralisé statusnet montre le voie, ainsi que la plateforme sociale décentralisée movim.

A moins que l’on souhaite que le futur du desktop ne tourne que dans l’onglet d’un navigateur web, ce qui est déjà le cas avec Chrome OS, Jolicloud, etc, il reste aux éditeurs d’OS et de bureaux de proposer des services web décentralisés et des API, afin que n’importe application desktop puisse enfin sortir des années 1990…

Pour finir je tiens à poser une question qui peut résumer ce débat.

Les acteurs et organisations du web travaillent à faire évoluer leurs technologies afin de proposer des fonctionnalités les plus proches d’une application native. Les éditeurs de logiciels natifs et développeurs d’environnement de bureau travaillent à proposer des fonctionnalités permettant le développement d’applications qui exploitent les capacités offertes par Internet (web services, cloud, …).

Entre ces 2 visions quelle est celle qui a le plus court chemin à faire et laquelle est la plus à même de répondre aux besoins envies des utilisateurs ?

C’est alors que la lumière fut lorsque je découvris l’offre de “cloud” de StatusNet http://status.net/signup En effet nul besoin de s’auto-héberger (mon temps est précieux), cette offre me permet d’avoir mon propre sous-domaine chez status.net et de l’administrer selon mon bon vouloir, notamment de faire sauter cette stupide limitation de caractères : http://fredix.status.net/

Elle permet aussi d’héberger sa propre communauté http://status.net/whos-using-statusnet, ouverte ou pas, Mozilla ne s’en est d’ailleurs pas privé : http://mozilla.status.net/ On dépasse largement avec tout ça le peu que propose Twitter. Cependant si je souhaite des services complémentaires comme les SMS ou XMPP, Status.net va proposer ce mois-ci une offre premium ajoutant un certain nombre d’options : http://status.net/cloud (SMS, XMPP, fichiers, …) J’espère que le prix sera abordable !

Je trouve cela très intelligent de leur part, et c’est une copie du modèle de http://wordpress.com/. Un logiciel que l’on peut s’installer et héberger soit même, ou bien simplement utiliser la version gratuite, ou la version avec des options payantes. Tout cela avec la garantie de pouvoir récupérer et exploiter ses données à tout instant grâce au code libre téléchargeable.

Cette 3ème voie me semble parfaite pour les logiciels libres qui souhaitent trouver un modèle économique. Il est dommage que pas mal de libristes feignent de l’ignorer, et préfèrent sacrifier le soutient financier du libre sur l’autel de l’auto-hébergement “pure et pas minitel 2.0″ …..

J’estime d’ailleurs que certaines organisations à but non lucratif devraient s’en inspirer afin de financer leurs actions et pourquoi pas même leurs développeurs … Et bien même soyons fou pour financer le développement de services concurrentiels à Google, l’éthique et la confiance accordées à des organisations type FSF , EFF ou GNOME Foundation sont d’une valeur inestimable face à n’importe quelle entreprise suspecte par définition. Mais ceci est un autre débat

Pour terminer, en plus de status.net et wordpress.com il existe aussi l’excellent http://shapado.com/ logiciel libre de question/réponse qui propose un hébergement avec des options payantes (plutôt chères  )  : http://shapado.com/plans Voici un exemple avec un shapado consacré à android : http://android.shapado.com/

Pour compléter l’article de Nÿco je trouve qu’il manque juste une passerelle vers les salons Jabber. Cela serait tout simplement énorme qu’un salon jabber puisse être associé à un groupe Juick. On aurait ainsi tout l’historique du salon sur le groupe. Par contre il manque pour gérer cela, le support des groupes dans Juick et le fait de pouvoir poster via l’interface web. J’avais pensé à ce type de fonctionnalité pour Noumba, mais le profil des utilisateurs ne permettait pas de l’envisager. Le site est très jeune mais comme il est complètement pensé autour de Jabber cela serait stupide de ne pas implémenter les salons.

Autre surprise, le business model. Enfin un site qui ne se base pas sur la pub ! Il est nécessaire de payer 9.95$ afin de pouvoir poster plus d’une image par 24 heures. On espère le support de la vidéo bien sûr. Comme l’indique Nÿco il suffit d’envoyer l’image au bot Juick depuis son client Jabber. Par contre les proxy de transfert par défaut dans Gajim ne fonctionnent pas et j’ai du ajouter celui de jabberfr (proxy.jabberfr.org). Une fonctionnalité qui permet de remplacer imageshack !

A propos de Jabber on peut constater que cela va limiter le service aux connaisseurs. Pour y remédier il faudrait a mon avis pouvoir poster via l’interface web et ouvrir une API (UPDATE : l’API existe bien ici décrite en Russe :p , et on me signale l’existence d’un client Juick , il n’utilise pas une API mais parse simplement un XML des derniers messages, ). Quant aux tags appelés hash tags sur Twitter, ils servent à compenser l’absence flagrante des groupes. J’y vois personnellement l’intérêt que sur des termes génériques. Exemple un groupe juick au lieu d’un simple tag, par contre un tag pour définir une humeur ou décrire un média. De plus sur un groupe ou un salon à la jabber on peut y définir des droits d’accès et de multiples propriétés qu’on ne peut envisager avec un simple tag. De la même manière dans un blog les tags et les catégories sont complémentaires.

D’après Nÿco, Juick est écrit en Perl/C++ et cela se ressent à la réactivité immédiate du bot et du site. Certes le nombre d’inscrit est encore très faible, cela sera à confirmer. Je regrette juste l’aspect propriétaire du site.

Pour résumer, voilà donc un site très prometteur où l’on sent que l’auteur a un peu plus de 2 de QI, car il faut vraiment être stupide pour avoir laissé des services tiers compléter les manques flagrants de Twitter… Pour l’avenir de ce type de service, je me demande juste si Google Wave ne mettra pas tout le monde d’accord, car outre des fonctionnalités étonnantes, il sera OpenSource et permettra à chacun d’utiliser son propre serveur à la manière de Jabber.

1. WordPress fait parti des blogs les plus avancés techniquement, et il dépasse de loin le service Blogger qui ne gère toujours pas les pages et le menu par onglet sans bricoler la CSS…
2. Il est Opensource : WordPress.org
3. L’hébergement chez WordPress.com me permet de m’affranchir de l’administration et des mises à jour.
4. L’import (articles, commentaires et catégories) d’un blog Blogger en 2 clics.
5. L’export XML.
6. 3 Go d’espace disque gratuit.
7. widgets.
8. Statistiques de blog sans passer par un service tiers à la Google Analytics.
9. Leurs services payant propose le Domain mapping pour un coût extrêmement modique (9.97$ /an ce qui revient à 7.27€ /an) ce qui me permet d’utiliser mon propre domaine.
10. Le paiement via ce type de service est un excellent moyen de financer le libre. Ce dernier point est pour moi prioritaire car il est à mes yeux indispensable d’encourager les business modèles Opensource d’autant plus lorsqu’ils atteignent ce niveau de qualité technique.

Dans de précédent billets j’ai critiqué le fait que le Libre se focalisait sur le logiciel sans penser à fournir de services. J’avoue avoir sauté chez Google sans penser à regarder mon vieux compte WordPress. La faute est réparée.

Avec ce titre pompeux je voulais depuis longtemps écrire un article sur ce thème. Je l’avais un peu abordé avec ce billet sur beanstalkd, cependant je désirais en parler de manière plus généraliste.

Finalement le Grand Ternet a encore une fois encouragé ma feignantise car j’ai trouvé cette suite de 3 petits excellents articles sur haute-disponibilite.net qui expliquent très bien ce domaine :

• Communiquer via une file d’attente de message, 1
• Communiquer via une file d’attente de message, 2
• Communiquer via une file d’attente de message, 3

A compléter avec cet article très riche d’un co-fondateur de last.fm : Anti-RDBMS: A list of distributed key-value stores. Il faut ajouter à cette liste déjà imposante l’étonnant Tokyo cabinet ainsi que nanite basé sur RabbitMQ et cela démontrera aux plus incrédules l’importance d’un bon backend asynchrone et les énormes avantages que cela apporte en terme de réactivité pour l’utilisateur.

Cependant la tentation sera certainement de plus en plus grande d’utiliser les technologies clés en main de cloud computing offertes par Google et Amazon… A quand un service de cloud computing opensource à disposition uniquement, bien sûr, des sites opensource ?
Pour finir, à lire également l’excellent article de Greg, {key, value} qui comporte des détails techniques et des exemples (attention par contre sur la partie memcached, car memcachedb ou memcacheq seront plus pertinent pour cet usage).

Je suis très fan de l’interaction Web Desktop, qui représente à mon sens l’avenir du Desktop. Même si le sujet est redondant avec de précédents billets, voici de la nouvelle matière,

On constate depuis un moment de plus en plus d’outils à installer sur son bureau ou son navigateur, qui sont en liaison avec des services web. Que ce soit les widgets de Vista, Apple, Adobe Air, ou ceux de Google disponibles depuis peu sur Linux (Google Gadgets for Linux). Mais QUID du Libre ?

Tout d’abord Weave, le Google Browser Sync de la Fondation Mozilla. Il permet de synchroniser en temps réel ses bookmarks, son historique, et surtout depuis la dernière version ses mots de passe vers un serveur Mozilla, le tout chiffré bien entendu.

Quand on possède un PC de bureau et un laptop, c’est vraiment la première extension à installer. Celle de Google est intéressante mais stocker chez eux des infos aussi privées est à mon avis très inquiétant, il y a des limites que je n’ai pas envie de franchir surtout s’il existe une alternative libre.
Pour la petite anecdote j’avais demandé à Tristan Nitot aux JDLL 2007 si la MoFo pensait un jour proposer un Google sync like. Il ne s’est pas étendu sur le sujet trouvant l’idée intéressante, alors qu’il avait cité Weave à sa conférence sans fournir de détail. J’aime bien les surprises de ce genre moi

Ensuite sur le desktop, RedHat sponsorise le réseau social Mugshot (un friendfeed avant l’heure) et propose le client natif éponyme disponible dans Fedora (oui j’ai migré ! next billet peut être). Ce client se fait discret dans la barre de tâche GNOME et affiche dans une popup les news de ses contacts. Le site est en lien direct avec GnomeOnline , il suffit d’y créer un compte pour se connecter ensuite sur MugShot. Ce site surfe sur la vague réseau social web2, donc l’intérêt est limité aux adeptes, mais il inaugure l’avenir du desktop libre connecté à des services web.

J’attends cependant plus utile et je pense que Jabber a toute sa place dans la compétition. D’ailleurs pour faire suite au précédent billet, j’ai ajouté sur le wiki de jabberfr.org une page qui recense quelques sites utilisables depuis son client Jabber. Sachant que Jabber commence à être implémenté à l’intérieur de client desktop (abiword, …) la boucle sera bouclée

On parle souvent du modèle économique du libre, qui tourne essentiellement autour du service. Proposer des services web payant est à mon avis un excellent modèle d’avenir pour financer le développement du logiciel libre. Personnellement si j’ai le choix entre des services web payant mais libres et hébergés par une communauté en qui j’ai confiance, et des équivalents propriétaires même gratuits mon choix est vite fait.

Aussi je suis ravi que le libre commence à suivre cette voie, et c’est sans nul doute la prochain défi qu’il faudra réussir.