dbnewz » User Conference 2009

Fin de la MySQL Conférence 2009… la dernière?

pébé — Fri, 24 Apr 2009 03:12:36 +0000

Et voilà, 4 jours se sont écoulés et la confèrence MySQL est déjà finie. Elle s’est terminée par un excellent Keynote de l’équipe derriére le site couvrant la campagne d’Obama. Ou comment des gars brillants ont reussi un challenge impressionant en ayant peu de connaissance sur MySQL au départ. Tout à été filmé et je vous conseille de regarder la vidéo. Je la publierai aussi sur le site au cas où. Pour l’instant, je suis encore à la Percona conference qui dure encore quelques heures.

En résumé, ce que je retiens de ces quelques jours:

Oracle rachéte SUN
MySQL 5.4
MySQL Cluster 7.0
PBXT et son blob streaming add on
la conférence Percona en parallele
Drizzle, drizzle, drizzle…

Evidemment, nous reviendrons par la suite un peu plus en détail sur des présentations qui nous ont marqué.

Update : La prochaine MySQL Conf aura lieu du 12 au 15 avril 2010, toujours à Santa Clara.

CouchDB: Behind the Buzz – Jan Lehnardt

pébé — Thu, 23 Apr 2009 21:33:35 +0000

DBNewz est le blog sur les SGBD, bien que nous parlions souvent de MySQL, je voulais faire un petit clin d’oeil à CouchDB . CouchDB est un projet de la fondation Apache crée par Damien Katz . J’ai rencontré Damien à l’epoque MySQL et Jan il y a maintenant 2 ans à la conférence 2007. Cela fait plaisir de voir que leur projet avance bien. C’est un petit bijou qui aura bien des usages pour differents types d’applications. CouchDb est un système distribué, qui supporte les pannes et surtout un SGBD dans un schéma orienté documents. Il est accessible par une API en Rest / Http / Json.

Keynote – The SmugMug Tale Don MacAskill (SmugMug) Keynote: The SmugMug Tale Don MacAskill – (SmugMug)

pébé — Thu, 23 Apr 2009 20:03:32 +0000

Don est un personage un peu à part dans la communauté. Il est le CEO et Chef Geek chez SmugMug. C’est un site de partage de photos et vidéos, jusque là rien de nouveau. Il existe sur le marché des concurrents comme Flickr, fotolog . Ce qui m’a étonné y a quelques années, c’est de voir que son business model était différent des autres. En général, ces sites offrent des comptes gratuits pour attirer des utilisateurs avec bien sur des comptes « pro » payant pour avoir acces à plus de stockage, bande passante,… Smugmug, non! En effet, tous les comptes sont payants ( Standard: $39.95/year, Power: $59.95/year, Pro: $149.95/year ). Et pourtant, ce site marche très bien et fait même des bénéfices sans avoir besoin de VC.

Sa présentation parlait de la facon dont il utilisait MySQL et des produits SUN acqueris grace au programme Start Up Essentials.

En résumé:

pas de JOIN
MySQL 5.1 – InnoDB XtraDB + patches
Openstorage ( for ZFS snapshot )

Un très bon keynote!

Using Q4M: A Message Queue Storage Engine for MySQL – Kazuho Oku (Cybozu Labs, Inc.)

pébé — Wed, 22 Apr 2009 19:24:11 +0000

Vous avez tous eu besoin au moins une fois d’un système de messagerie ( de queue ) pour que vos applications communiquent entre elles. Q4M est un de ces systémes qui en plus fonctionne comme un moteur de stockage de MySQL 5.1.

La cible:

robuste
rapide ( milliers de messages par seconde )
facile à utiliser

Les chiffres

communication asynchrone et persistante
7000 messages/s
512 bytes
sync to disk

Les utilisations

Buffer write pour la DB pour les périodes de pick
relay en DB et processes d’analyse
pre fetch – de la DB vers Memcached
scheduling web crawlers

Les liens

http://q4m.31tools.com
Linux – Intel

Les options

–with-sync
–enable-mmap
–with-delete

C’est quelque chose que je vais devoir tester ASAP!

Maria In Depth – Monty Widenius

pébé — Wed, 22 Apr 2009 18:46:43 +0000

Monty, un des fondateurs de MySQL, a quitté SUN/MySQL il y a quelques mois et à depuis fondé Monty Program AB la société dernière MariaDB. Il a écrit une très grande partie du code de MySQL. Ce qui m’avait impressionné la première fois ou je l’avais rencontré c’est qu’il connaît le code source presque par coeur. Vous lui dites, « j’ai un problème à cet endroit »… en quelques minutes, il est capable de savoir de quel partie du code cela vient. Impressionant.

Autre chose sur Monty, il a 3 enfants:

sa fille My – MySQL
son fils Max – MaxDB
sa fille Maria – moteur de stockage Maria – MariaDB

des choses comme celles là ne s’inventent pas.

Revenons sur MariaDB, c’est la version communautaire de MySQL 6.0 qui utilise par défaut le moteur de stockage Maria, mais supporte aussi InnoDB, XtraDB, PBXT,…

Maria est une évolution de MyISAM, au départ développé pour palier les problèmes de corruptions de MyISAM. Au final, ce moteur présente bien des avantages au niveau des performances, montée en charge et fiabilité sans compter des nouveaux types d’index pour les requêtes de type SCAN.

MariaDB est quelque chose à surveiller de très prêt.

Keynote Address: Breaking Boundaries

pébé — Wed, 22 Apr 2009 18:28:50 +0000

La conférence Percona à débuté aujourd’hui. Le maître de cérémonie Peter Zaitsev a encore une fois fait une présentation très intéressante sur les limites actuelles et comment les dépasser et a insisté sur les choix à faire:

performance vs features
performance vs consistency
performance vs hardware
performance vs power consumption

Des slides à ne pas rater, je vous tiendrai au courant quand elles seront disponibles sur le web.

Build Your Own MySQL Time Machine

pébé — Wed, 22 Apr 2009 18:21:11 +0000

Si vous êtes un MAC addicted comme moi, vous connaissez l’outil Time Machine d’Apple qui permet de faire des sauvegardes ( idéalement avec la Time Capsule ). L’outil attendu depuis des années pour faire des backup/restoration, surtout des « Point in time recovery » qui permet de revenir exactement à une période dans le temps.

Le concept est simple:

backup à chaud avec enregistrement des positions des binlogs
backup des binlogs

La console Web permet de gérer tout cela et de programmer les prises de backup. C’est basé sur l’outil MySQL Backup disponible avec la 6.0.

Les étapes:

backup sur le server
backup data copié sur le TM server

Personnellement je trouve l’idée très intéressante maintenant, est ce un vaporware? est ce dispo pour la prod? A voir.

Comment choisir?

pébé — Wed, 22 Apr 2009 18:02:01 +0000

Trop c’est trop. Déjà à l’époque,nous devions choisir entre un nombre incalculable de sessions… En effet sans compter les keynotes, il y avait 8 presentations en parallèle. Nouveauté cette année, en plus des sessions « standard », le MySQL camp et la conférence performance de Percona. Evidemment les horaires ne correspondent pas, et je vais devoir courir d’une salle à l’autre. Ceci sans compter les rendez-vous et les discussions de couloir…

Ce matin, j’ai zappé le keynote MySQL pour aller voir celui de Peter ( Percona ), suivi par une présentation de MariaDB… un café avec Jay Pipes, ancien manager de la communauté US et maintenant développeur pour drizzle…. puis de retour à la conf pour suivre « Build Your Own MySQL Time Machine » et « Using Q4M: A Message Queue Storage Engine for MySQL »… puis direction Percona pour voir « Your Disk Array is Slower Than it Should Be » de Paul Tuckfield / YouTube qui avait donné un excellent keynote l’année dernière…. enfin rendez-vous avec Andy Oram avec qui j’avais travaillé pour High Perfomance MySQL ( Technical Reviewer )…

Je n’ai pas encore décidé la suite de la journée… Je ne veux pas avoir l’air de me plaindre car j’apprécie la chance d’être là, mais c’est loin d’être des vacances si vous voulez tout suivre.

Scaling a Widget Company – Dathan Pattishall (Rockyou)

pébé — Wed, 22 Apr 2009 02:09:38 +0000

Dathan s’est fait connaître en étant le DBA de Flickr. Il travaille maintenant pour Rockyou sur des problèmatiques de gros volumes travaillant essentiellement avec des réseaux sociaux.

connaître ses données ( comment elles sont ajoutées, accédées, grossies? qui sont les utilisateurs les plus actifs? )
connaître l’application & le hardware
connaître les problèmes ( I/O, coût, pas de downtime, … )

Les techniques:

Federation
Sharding
utilise XtraDB

Les chiffres

4.4 billions transactions a day – 100k TPS
25T data
35k memcache gets a sec
10M active users
99.999% uptime
…

The PBXT Storage Engine: Meeting Future Challenges – Paul McCullagh

pébé — Tue, 21 Apr 2009 22:44:54 +0000

Je connais Paul depuis maintenant quelques années, quand PBXT était seulement un petit projet qu’il avait commencé tout seul en parallele de son activité principale. 3 ans après, PBXT est un moteur de stockage qui concurrence InnoDB. Il va nous présenter l’histoire de PBXT, les challenges qu’il a dû remplir et les prévisions sur l’avenir.

PBXT est disponible pour MySQL, MariaDB et Drizzle.

Les challenges

CPU – Le nombre de coeurs augmente mais la vitesse reste stable
Plus de CPU -> plus de contention
- minimize les mutex
- segmentation
- read lock
- atomic
- bus contention
SSD – no seek time
- le cluster des data n’est plus essentiel

Les Bases – un record avec une taille fixe + un record avec une taille variable
Les performances de la dernière version de PBXT ( 1.0.8 ) sont aussi bonnes que celle d’InnoDB avec 16 threads en parallele. Qu’est qui à changé?

moins de pauses ( 0.1s pour acceder à une ressource )
memcpy supprimé pour les index cache
memcpy évité pour les index scans
les updates des index sont effectués en parallele

Comment optimiser?

connaître l’ennemi – connaître le jeu de test
savoir où partitionner
ré écrire les parties ou un conflit existe

Les nouveautés – Memory resident table basé sur le fait que 10% des clients de MySQL utilisent le moteur MEMORY pour leurs applications

PS: Tiens je viens d’apprendre un truc – Même si le Query cache est désactivé, il y a quand même un LOCK sur la table… intéressant.

Les objectifs:

réplication au niveau du moteur de stockage
synchronisation de la réplication
réplication bi directionnelle

les liens:

http;//www.primebase.org
https://launchpad.net/pbxt
http://pbxt.blogspot.com

En résumé, ce moteur à l’air brillant, je vais passer plus de temps à le tester.