[Hacking-es] Sistema de almacenamiento distribuido

Wed Jan 26 16:50:36 GMT 2011

        Yo tengo un problema similar. Actualmente lo que contemplo hacer es montar un sistema de MongoDB con GridFS. En mi caso no tengo tanto requerimiento de espacio a priori, así que mi hosting es MongoHQ. En tu caso monta un cluster de servidores dedicados porque sino te saldría por un ojo de la cara.

        Podrías montar un cluster de servidores Mongo. MongoDB hace el balanceo de carga automáticamente y se encarga sincronizar todas las máquinas.

        El tema de tener una URL por fichero sería más manual. Podrías asociar a cada fichero un metadata con un identificador. Tu aplicación respondería por ejemplo a /files/:id . Todas las request   a esa URL van a responder con el ficheor asociado a esa id.

¿Te sirve?

Un saludo

El 26/01/2011, a las 17:01, José Galisteo escribió:

> Estoy montando un servicio del que se hace un gran uso de
> almacenamiento y transferencia, mi primera opción era usar Amazon S3
> pero haciendo números vi que economicamente no era viable.
> 
> Una opción que se me plantea es el montar un sistema de almacenamiento
> distribuido a base servidores dedicados, el problema principal es la
> transferencia de estos. Os plateo el problema tal y como lo veo.
> 
> Teniendo servidores dedicados para almacenar y servir ficheros con una
> transferencia máxima de 3TB a 100Mbps e ilimitado a 10Mbps y 2TB de
> almacenamiento, necesito:
> 
> Poder almacenar todo cuanto sea posible en uno, cuando este empiece a
> quedarse sin espacio almacenar los ficheros en un nuevo servidor.
> Si el primer servidor tiene una serie de ficheros que son muy
> solicitados y gastan mucha transferencia hacer replica de estos en
> otro servidor para balancear el consumo de "transferencia".
> 
> Para rematar desde una aplicación alojada en otra maquina, debo
> facilitarle al usuario una URL de cada fichero que solo le sirva a él,
> o al menos solo esté disponible de forma temporal de cada fichero.
> 
> La transferencia, ancho de banda y almacenamiento son solo variables
> que dependerán de los servidores que finalmente contrate.
> Este no es un problema que valla a tener de forma inmediata, pero que
> me gustaría ir resolviendo.
> 
> ¿Habéis hecho alguna vez algo similar?
> 
> 
> -- 
> http://flowersinspace.com
> http://jose.gr
> _______________________________________________
> Hacking-es mailing list
> Hacking-es at lists.simplelogica.net
> http://lists.simplelogica.net/mailman/listinfo/hacking-es