Archive pour la catégorie ‘User Conference 2009’

Articles plus récents »

You Love It, Break It: Testing MySQL with the Random Query Generator – Philip Stoev (SUN)

Mercredi 22 avril 2009

Philippe fait partie de l’équipe MySQL QA . Il présente une méthode utilisant Random Query Generator afin de créer des jeux de test les plus exhaustifs possibles pour valider le bon fonctionnement d’une base de données.

Le paramétrage se fait en analysant un langage relativement simple. Random Query Generator permet de générer un rapport d’erreur d’exécution qui va au-delà du scope de l’application. Cet outil utilisé parallèlement au Query Analyzer permet d’avoir un maximum d’information afin d’augmenter les performances de la base.

En allant jusqu’au crash du serveur nous allons pouvoir tester la récupération des données. La solution est Multi plateforme (Linux, Solaris, Windows), très largement paramétrable mais à mon avis extrêmement phagocyteur de temps au moment de la génération du jeu d’essai. A tester aussi sur des tests de non régression.

Vous pouvez trouver Random Query Generator sur
http://launchpad.net/ranggen
et la documentation sur :
http://forge.mysql.com/wiki/Random_Query_Generator

Mots-clefs :
Publié dans MySQL, User Conference 2009 | Aucun commentaire »

Leveraging MySQL for Efficient Collaboration – Boris Burtin (Zimbra Inc.)

Mardi 21 avril 2009

Boris et Dan nous présentent l’architecture de Zimbra composée entre autres d’un server ZCS, de Java Jetty, d’OpenLDAP, de MySQL 5.0, de fichiers de stockage et de Lucene.

Quelques chiffres pour chaque serveur :

  • 95k mailboxes
  • 11M message
  • 530k messages a day
  • 464k SOAP request per day
  • 6.4M POP requests per day

Le serveur type est un quad core, 32G RAM

  • ZCS a sa propre architecture pour gérer les REDO
  • backup tout en une fois ( filesystem, database, ldap )
  • restore – load le dernier backup and rejoue tous les REDO
  • ZCS redo log – incrémental restore

Problèmes et solutions:

  • Les tags d’un utilisateur sont stockés sur 1 seul entier ( 64 bits ) – évite les jointures
  • trier les messages de la mailbox – ils utilisent les HINTS
  • data partitionning – les différents tests
    • 1 table pour tous les users
    • 1 database par users ( limité par le filesystem )
    • 100 databases with X mailboxes in it

Wrap up:

  • 40M mailboxes – ( payant )
  • problème de perf IMAP
  • Migration lente

Mots-clefs :
Publié dans User Conference 2009 | Aucun commentaire »

Spatial SQL: Qui a besoin de GIS? – John Powell

Mardi 21 avril 2009

John travaille pour le site eMapSite et est spécialisé dans la GIS ( Système d’information géographique ). Pour plus de détail sur le concept, je vous laisse lire la définition sur wikipedia. Les SGBDs qui se sont intéréssés à ce genre de données ont été Oracle et Postgres et maintenant MySQL. MySQL a rattrapé son retard dans le domaine.

L’idée est de découper la carte en carrés contenant le plus petit objet possible. Les index R-Tree ont été développés à cette occasion, liant les « carrés » entre eux. Charger des données en base prend généralement beaucoup de temps. John utilise un trick assez sympa. Un trigger après insertion sur une table blackhole qui calcule ensuite les données GIS et les insère dans la table adéquate.

MyISAM est le seul moteur à supporter les index r-tree. Afin d’éviter des problèmes de concurrence, vous pouvez utiliser un master en InnoDB et des slaves en MyISAM.

John nous a présenté les différentes fonctions GIS de MySQL et je dois dire que c’est assez compliqué. Les requètes sont complexes et bon, il serait temps que je révise mes notions de trigonométrie…

Mots-clefs :
Publié dans User Conference 2009 | 2 commentaires »

MySQL et Search chez Craigslist par Jeremy Zawodny

Mardi 21 avril 2009

Vous ne pouvez pas utiliser MySQL sans connaître Jeremy. Ancien Yahoo! il a été l’un des premiers à utiliser MySQL pour Yahoo! Finance et est co-auteur de MySQL High Performance, la 1ère édition. Après des années à avoir travaillé et évangélisé MySQL, Jeremy fut un responsable du développement du YDN. Il a décidé, il y a quelques temps de retourner dans la sphére de MySQL en devenant expert pour Craig List. Un de ses premiers challenges chez CL, a été d’optimiser les FULL TEXT search.

Les challenges chez CL:

  • high ad churn rate – la durée de vie des annonces sur le site. Vous ne voulez plus recevoir de mails sur un item déjà vendu
  • croissance
  • trés gros traffic
  • outil d’analyse & backend
  • croissance ( et oui )
  • besoin d’archiver tous les messages ( 100s de milions ) et pour toujours
  • Internationalisation& utf8

Les briques logicielles sont:

  • Load Balancer
  • Read Proxy ( Perl + Memcached ) & Write Procxy
  • Wed Read Proxy ( apache / mod_perl )
  • Object Cache ( Perl / Memcached ) & Search Cluster ( Sphinx )
  • Read DB Cluster ( MySQL 5.0 )

Toutes les datas sont en clusters avec un content specifique – User DB, Stats, Archive, Classified, Forum

Full Text Search chez CL en quelques points

  • partition par ville
  • attributs vs keywords
  • connections persistantes
  • 2 clusters ( 1 master, 4 slaves )
  • indexing incremental
  • slaves – requètes live
  • 1000 QPS
  • 25 MySQL -> 10 Sphinx
  • recherche alentour
  • 50M QPD ( par jour )
  • archive des messages – une DB sans schema – couchdb?

Mots-clefs : ,
Publié dans MySQL, User Conference 2009 | Aucun commentaire »

et c’est parti pour les keynotes…

Mardi 21 avril 2009

Et voila… la conférence commence enfin par les traditionnels « Keynote ».

voila le programme:

  • State of the Dolphin Karen Padir (Sun Microsystems)
  • This is Not a Web App: The Evolution of a MySQL Deployment at Google Mark Callaghan (Google)
  • Do You Believe in Magic? Bruce Armstrong (Kickfire), Justin Lin (Mamasource)

Karen qui a remplacé Marten Mickos à la tête du groupe MySQL & Software Infrastructure, nous a présenté le « bombe du jour » avec MySQL 5.4 avec plusieurs résultats de benchmark. Suite à cela, Ken Jacobs connu comme « Mr DBA » ( employé n°18 chez Oracle ) nous a, à son tour, présenté des nouveautés InnoDB… Karen a ensuite remis le « Acquirer of the year » award à Ken. A big happy familly! ;)
La 2eme partie de ce keynote était orientée « query analyzer » avec une présentation de l’outil.
Une autre bombe de la journée, cela n’arrête pas… des mises à jour mensuelles seront disponibles pour la version communautaire et la version MySQL Cluster 7.0 GA.
Pour terminer ce 1er keynote, les awards de l’année, entreprise, produit et communauté…. Ca commence trés fort!

PS: et la documentation de MySQL va passer GPL!

Mots-clefs : ,
Publié dans User Conference 2009 | Aucun commentaire »

La bombe du jour – MySQL 5.4

Mardi 21 avril 2009

Pendant son keynote, Karen a annoncée, la sortie de MySQL 5.4, la solution attendu depuis des mois aux problèmes de montée en charge de MySQL.

  • Meilleure montée en charge
  • Meilleures subqueries
  • Nouveaux algorithmes de requètes
  • Meilleures procedures stockées
  • Amélioration de l’INFORMATION_SCHEMA
  • support de Dtrace

Si on croit les tests présentés:

  • 59% plus rapide que le 5.1.
  • 71% plus rapide en 64 vs 32

Comment est née cette version? Un gros effort de MySQL/SUN pour intégrer enfin les patchs de Google, et des corrections au niveau des mutex. Vous savez quoi? Je me languis d’avoir cette bombe dans les mains. Les sites mirroirs sont mis à jour à l’instant même ou je vous parle… Des améliorations InnoDB sont aussi attendu, peut être pas encore dans la 5.4 mais ils sont dans la « to-do ».

Publié dans User Conference 2009 | 3 commentaires »

MySQL DBA Certification Tutorials

Mardi 21 avril 2009

Cela fait maintenant plus de 3 ans que je donne des cours sur les SGBD chez Yahoo! Former les équipes fait partie de mes prérogatives. Ces cours sont destinés à toutes sortes d’audience ( DBA, dev, ops, … ) et couvrent beaucoup de sujets ( HA, Scalability, Capacity Planning, … ). Mon expérience sur les bases de données s’est construite au cours des années, je me rappelle des quelques cours que j’ai eu en université mais cela remonte à quelques années… hélas. J’ai donc décidé de participer au tutorial MySQL DBA présenté par Kai Voigt, qui donne lui aussi des cours de partout dans le monde pour Sun et leurs clients. Je ne suis pas là pour comparer, mais pour voir si je présente les choses de la même façon et surtout si je n’oublie pas de couvrir certaines parties. Sachant que le cours est quand même orienté certification, je me demande combien parmis les 80 personnes présentent vont tenter leur chance.

Lire le reste de cet article »

Mots-clefs : , ,
Publié dans MySQL, User Conference 2009 | 2 commentaires »

Oracle & MySQL

Lundi 20 avril 2009

5h du mat, mon téléphone sonne. Un journaliste me demande mes impressions sur le rachat de SUN par Oracle… le QUOI??? La conférence n’a pas encore commencée que cette nouvelle a déjà l’effet d’une bombe. Oracle a accepté de reprendre SUN pour $9.50 par actions. Ils auront ainsi accés à des technos comme Solaris, ZFS, MySQL,… Nous attendons impatiemment un communiqué plus explicite des intentions d’Oracle vis à vis de MySQL. Il se passe toujours quelque chose d’intéressant à cette conférence, l’année dernière, ce fut le rachat de MySQL par SUN et maintenant çà…

Mots-clefs : ,
Publié dans MySQL, User Conference 2009 | 3 commentaires »

dbnewz présent à la MySQL Conference 2009

Samedi 4 avril 2009

MySQL Conference & Expo 2009
 Pour la 3ème année consécutive pour Pascal et 2ème en ce qui me concerne, nous serons présents à la MySQL Conference à Santa Clara.

Vu que les français ne sont pas légion là-bas, surtout n’hésitez pas à faire signe si vous projetez de vous y rendre également.

Le planning sera très chargé, des dizaines de sessions se succèdant du lundi au jeudi soir, avec notamment celle de Stéphane Combaudon, lecteur de dbnewz, qui nous parlera en détail des covering index. A ne pas rater ;)

Mots-clefs : ,
Publié dans User Conference 2009 | 6 commentaires »

Articles plus récents »