[Hacking-es] Sistema de almacenamiento distribuido

Wed Jan 26 16:01:43 GMT 2011

Estoy montando un servicio del que se hace un gran uso de
almacenamiento y transferencia, mi primera opción era usar Amazon S3
pero haciendo números vi que economicamente no era viable.

Una opción que se me plantea es el montar un sistema de almacenamiento
distribuido a base servidores dedicados, el problema principal es la
transferencia de estos. Os plateo el problema tal y como lo veo.

Teniendo servidores dedicados para almacenar y servir ficheros con una
transferencia máxima de 3TB a 100Mbps e ilimitado a 10Mbps y 2TB de
almacenamiento, necesito:

Poder almacenar todo cuanto sea posible en uno, cuando este empiece a
quedarse sin espacio almacenar los ficheros en un nuevo servidor.
Si el primer servidor tiene una serie de ficheros que son muy
solicitados y gastan mucha transferencia hacer replica de estos en
otro servidor para balancear el consumo de "transferencia".

Para rematar desde una aplicación alojada en otra maquina, debo
facilitarle al usuario una URL de cada fichero que solo le sirva a él,
o al menos solo esté disponible de forma temporal de cada fichero.

La transferencia, ancho de banda y almacenamiento son solo variables
que dependerán de los servidores que finalmente contrate.
Este no es un problema que valla a tener de forma inmediata, pero que
me gustaría ir resolviendo.

¿Habéis hecho alguna vez algo similar?

-- 
http://flowersinspace.com
http://jose.gr