2013 - Matías Paterlini: Escalando PHP con sharding y Amazon Web Services

Escalando una PHP App
con DB Sharding & Amazon Web Services
Matias Paterlini
Tuesday, November 5, 13

Objetivo de la charla
• Contar quien soy y qué hago
• Mostrar orígenes de la arquitectura, infraestructura y
escalabilidad de TFM

• Hablar de DB Sharding
• Hablar de Amazon
• Preguntas
• Cof Cof reclutar Ejem!

• +11 años de experiencia en PHP.
• 6 años desarrollando aplicaciones sobre Redes
Sociales

• 25 empleados, + de 250 aplicaciones desarrolladas
• + 10K clientes, + 10M Usuarios
• 2 compañías construidas sobre plataformas sociales

20.6 M
Audiencia de nuestros
primeros 8 clientes.
Tenemos 250 en simultáneo.

+300.000
Fans conseguidos con solo un
concurso


Todos tenemos una
historia con PHP


<?php
echo 'Hello World';
?>


Apache HTTP Server


Free Web Hosting


<?
class Caja{
    var $alto;
    var $ancho;
    var $largo;
    var $contenido;
    var $color;
function introduce($cosa){
    $this->contenido = $cosa;
}
function muestra_contenido(){
    echo $this->contenido;
}
}
?>

Auto-complete
Object class reference


FRAMEWORKS


The Fan Machine


Esto tiene que escalar!


¿Qué sabíamos de
escalar algo en PHP?


¿Qué sabíamos de
escalar algo a
MILLONES de usuarios
en PHP?

Qué onda con el
NoSQL?


Qué onda con el
Sharding?


Cuales eran nuestros
posibles problemas?


Escalar Rápido


Muchos writes


Mucha variación
en el Tráﬁco


MUCHOS cambios en
el modelo de datos


Mucho Storage


Todo bajo SSL


Startup = poco $$


Como lo
solucionamos???


Possible solutions...


Web Server & Storage


HORIZONTAL
SCALABILITY


Static File Caching
Web Server 1

Web Server 2

Web Server 3

Data Caching

Database 1

Database 1

(replicated DB)

Amazon
Azure
GoGrid
Rackspace
Vurbia - SoftLayer
Akamai

AMAZON


•
S3
•
EC2 - Web & Memcache
•
CloudWatch
•
CloudFront
•
ELB - SSL termination
•
Route 53


What about the DB?


MongoDB
Membase

Hbase

Cassandra

SimpleDB
NoSQL
BigData
CouchDB
Hipertable RaptorDB


NoSQL = No Trust!


Y MySQL qué onda?


Horizontal Scalability


Master/Slave


Static File Caching

Web Server
1

(Transaccional,
read-write)
Master
Database

Web Server
2

Web Server
3

Data Caching
Slave
Database

(read)

Slave
Database

(read)

DB scalling issues...


CPU
Memory
Disk


Retraso


• MAAAAANY Records - Storage issues


• Caching not enough


• Alters lock tables for hours!


• Maintenance Issues


• Maintenance Issues
• Too much response time

Cluster Computing


Table Partitioning


THE approach


The Friendfeed
approach


MySQL


Sharded MySQL
databases


MySQL emulating
NoSQL over Sharded
Databases


Documents = Entities


One Table for entities,
many tables for
indexes.


The Model
index_user
index_promo
entities

index_participant
index_vote
index_fan_conversion


entities table
added_id
id
body
class
created
updated
deleted


Entities Table

CREATE TABLE èntities` (
àdded_id` int(11) NOT NULL AUTO_INCREMENT,
ìd` char(32) NOT NULL DEFAULT '',
ùpdated` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE
CURRENT_TIMESTAMP,
`deleted` timestamp NULL DEFAULT NULL COMMENT
`body` mediumtext,
`class` varchar(50) DEFAULT NULL,
`created` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00',
PRIMARY KEY (àdded_id`),
UNIQUE KEY ìd` (ìd`),
KEY ùpdated` (ùpdated`),
KEY `class` (`class`),
KEY `created` (`created`)
) ENGINE=InnoDB AUTO_INCREMENT=1692491 DEFAULT CHARSET=utf8 |


users index table

entity_id
fb_uid


user index table
CREATE TABLE ìndex_user` (
èntity_id` char(32) NOT NULL DEFAULT '',
ùid` bigint(20) NOT NULL,
PRIMARY KEY (èntity_id`,ùid`),
UNIQUE KEY ùid` (ùid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8


How do we scale it?


File Caching
Web Server
1

Web Server
2

Web Server
3

Data Caching

DB Server 1

Shard 1 Shard 4 Shard 7 Shard 10
Database Backups

}

Databases

Static File Caching
Web Server
1

Web Server
2

Web Server
3

Web Server
3

DB
Server
1

DB
Server
2

DB
Server
3

DB
Server
4

Shard 1
Shard 2
Shard 3

Shard 4
Shard 5
Shard 6

Shard 7
Shard 8
Shard 9

Shard 10
Shard 11
Shard 12

Database Backups per Shard

THE Beneﬁts...


• Bases de datos más pequeñas son más
fáciles de manejar

• Bases de datos más chicas son más rápidas
• El sharding puede reducir costos


• Server maintenance per db-server
• Data Maintenance Per db-shard
• NO ALTERS on tables
• Easy recovery and replication with MultiAZ
• Easy scaling
• Easy migration to other No-SQL data
engines


¿When is DB sharding
Appropiate?


High transaction Applications
Write-intensive transactions


Cómo repartimos
entre los shards?


Driver

Programmatic


DB

DB Driver
DB
Server
1

DB
Server
2

DB
Server
3

DB
Server
4

Shard 1
Shard 2
Shard 3

Shard 4
Shard 5
Shard 6

Shard 7
Shard 8
Shard 9

Shard 10
Shard 11
Shard 12

memory cache

Driver DB

DB driver table

shard_id
email


Progamatic Driver


Cómo usamos el driver

Fetchear la entidad de un usuario:


Cómo usamos el driver

Crear o actualizar una promo:


otra forma de guardar...


y se utiliza así en un helper:


Amazon Web Services


Como evolucionamos
en Amazon...


Un servidor LAMP, S3
DNS externo


Amazon Linux AMI


Memcache


Balancer


Route 53


Que aprendimos??


OJO con las public
AMIs!!!


Cuando estopeas una
instancia.... CHAN


PERDES LA IP
ELASTICA


SE TE CAMBIA LA
DNS PUBLICA


Clonar es super simple
pero no super rápido


Tener stopeada una
instancia sale.... casi
nada!!


DNS...


SSL Termination


Límite de certiﬁcados
de ssl


Questions?
Matias Paterlini
matias@thefanmachine.com
Te estamos buscando!!
jobs@thefanmachine.com


2013 - Matías Paterlini: Escalando PHP con sharding y Amazon Web Services

More Related Content

Similar to 2013 - Matías Paterlini: Escalando PHP con sharding y Amazon Web Services (20)

Recently uploaded (20)

2013 - Matías Paterlini: Escalando PHP con sharding y Amazon Web Services