Que es thundercache y como trabaja?

Publicado en 'Redes Inalámbricas' por loyarrb, 1 Jul 2010.





  1. loyarrb

    loyarrb Miembro frecuente

    Registro:
    17 May 2010
    Mensajes:
    84
    Likes:
    0




    Hola amigos quisera saber si alguien me pude ayuda vi en un post que thundercache nos brinda mayor estabilidad en el ancho de banda? y por cierto trabaja con mikrotik ?
     


  2. rey92

    rey92 Miembro maestro

    Registro:
    23 Jun 2010
    Mensajes:
    261
    Likes:
    24
    Me uno al pedido :hi:
     
  3. ryohnosuke

    ryohnosuke Miembro de plata

    Registro:
    28 Mar 2008
    Mensajes:
    2,626
    Likes:
    83
    ¿Estabilidad?, en la v3 es sólo un añadido a squid, en la v4 ya es todo un sistema de proxy caché.

    Saludos.
     
  4. rey92

    rey92 Miembro maestro

    Registro:
    23 Jun 2010
    Mensajes:
    261
    Likes:
    24
    Hola ryohnosuke diskulpa la pregunta e estado averiguando del thundercache y la version free es de 50 usuarios es cierto???

    Ps: Yo tengo unos 60 klientes me seriviria aun asi y ke version me seria util
    ahhh si tuvieras el link del programa te lo agradecere mucho :biggrin:
     
  5. ryohnosuke

    ryohnosuke Miembro de plata

    Registro:
    28 Mar 2008
    Mensajes:
    2,626
    Likes:
    83
    Es de 50 threads simultáneos, NO usuarios, fácil te alcanza para unos 20 que no naveguen mucho, recordar que un cliente con hartos toolbars, fácil hacen 20 conexiones cada vez que abre una página.

    Saludos.
     
  6. ingjaab

    ingjaab Miembro maestro

    Registro:
    12 Jul 2010
    Mensajes:
    494
    Likes:
    0
    Hola digame si hay un curso de thunder cache saludos
     
  7. el_Javi

    el_Javi Miembro frecuente

    Registro:
    22 Oct 2008
    Mensajes:
    60
    Likes:
    0

    Tb me uno al pedido como seria la infraestructura usando mikrotik y thundercache?


    Salu2.:hi:
     
  8. MikroRAT

    MikroRAT Miembro maestro

    Registro:
    22 Oct 2009
    Mensajes:
    415
    Likes:
    48
    estabilidad para mi es ahorrar ancho de banda y segmentarlos
    la estabilidad tambien viene ligada a que tus enlaces wifi esten bien

    Thundercache es un aplicacion , que se añade a LINUX , que hace la funcion de almacenar archivos , como :

    actualizacion de windows UPDATE
    ESET NOD sus actualizaciones
    Karsperky
    VIDEOS YOUTUBE
    XVIDEOS
    4shared
    megaupload
    rapidshared
    symantec
    etc etc

    entonces si un usuario X ve o descargar un archivo de estas paginas , o extension que se configuran en el server el mismo los guarda y para el usuario Y si ve el mismo video y la misma aplicacion baja lo descargaria del proxy , y eso es economia de BANDA DE INTERNET , ahora que pueda funcionar como GATEWAY el LINUX solo habilitas IPTABLES , eso es una opcion y la Otra es que trabaje paralelo al MIKROTIK ahi la figura cambia pues se aplica reglas al MIKROTIK para que redireccione lo que viene al PORT 80 al thundercache

    espero haber ayudado saludos
     
    Última edición: 4 Ago 2010
    A ZonaWifi le gustó este mensaje.
  9. el_Javi

    el_Javi Miembro frecuente

    Registro:
    22 Oct 2008
    Mensajes:
    60
    Likes:
    0

    Hola amigo MikroRat hace una semana aproximadamente te mande un mp pero no me respondiste...puedes ver eso?.:plop:
     
  10. ryohnosuke

    ryohnosuke Miembro de plata

    Registro:
    28 Mar 2008
    Mensajes:
    2,626
    Likes:
    83
    Bueno, la verdad es que no entiendo el punto ese del ahorro de ancho de banda con lo de estabilidad. :paz:

    Ahora mi condición para estos servers, es que la persona interesada tenga un promedio de 3mbps de throughput en su red wireless, sino, que solucione su red y que recién piense en implementar thundercache.

    Si bien thundercaché ahorra ancho de banda como cualquier proxy (duh...), una de sus ventajas es que 'cargan los videos rápidamente' videos que normalmente con un proxy no deberían de hacer hit, por ser contenido de links dinámicos, esa velocidad en red cableada es genial, pues te cargan los videos al vuelo.

    Muchas personas que tienen problemas de throughput en sus redes wireless, y creen que tener un sistema de estos va a mejorar su red (por ahí uno habló de "estabilidad"), que sus clientes tendrán los videos más rápidos, y que será la panacea, nada más alejado de la realidad... Si una red wireless NO está en buen estado, entonces un sistema de estos hará que su red wireless sea más lenta aún, puesto que no tienen el suficiente ancho de banda wireless (throughput) como para los mover videos que salen del caché, haciendo que la red wireless se termine saturando, y que los pings de buena parte de los clientes, se vayan al cielo, osea lento que te mueres. xD

    Personalmente este sistema les caerá bastante bien a quienes hayan cuidado la instalación de sus redes wireless, asegurando una buena capacidad de throughput para poder mover el plus del nuevo tráfico que causarán los videos salidos del caché. Los que tengan sus redes wireless 'a las justas' o MAL, este sistema en vez de ayudar, hará todo lo contrario, empeorará.

    -----------

    Es bastante interesante eso de los plugins de thundercaché, estoy dedicando varias horas de la noche en seguir entendiendo como funcionan, que no soy programador C++, pero estoy intentando entenderlo a mi modo.

    Lo último que hice fue corregir el plugin de microsoft y windows update, que no hace caché de todos los archivos de esa página, y esto en Thundercache 3.0, 3.1, y PRO 4.1

    Por ejemplo, el messenger 7.0 http://download.microsoft.com/downl...1-81b1-c40d2eadbf62/Install_MSN_Messenger.EXE no se almacena y no hace hit con ninguna versión de thundercache, eso por culpa del plugin, y así varios archivos. Con un poco de analisis lo pude corregir.

    Del mismo modo varios plugins han expirado en thundercache 3.0 y 3.1, por ejemplo rapidshare, redtube, vimeo, plugins a los que se pudo dar vida nueva, y hasta se pudo crear el plugin de youporn.com (bien maleado testear los nuevos plugins de las páginas *porn* xD)

    Saludos.
     
  11. MikroRAT

    MikroRAT Miembro maestro

    Registro:
    22 Oct 2009
    Mensajes:
    415
    Likes:
    48
    si hablamos de banda y estabilidad , por que meter a WIFI si nisiquiera telefonica nos da un ancho de banda bueno para ello aplicamos proxys en este caso thunder
    ahora el thunder funciona asi si un usuario X esta usando tal aplicacion la banda de internet otro lo puede usar para apliaciones online y esta libre hacia TELEFONICA , ahora si hablamos de saturacion a la RED wifi podemos aplicar limites a thunder para que no vote FULL y llegar a un punto aceptable con los clientes , el tema del WIFI no es ser PESIMISTAS si no dar soluciones o al menos POSIBLES

    saludos
     
    Última edición: 5 Ago 2010
  12. ryohnosuke

    ryohnosuke Miembro de plata

    Registro:
    28 Mar 2008
    Mensajes:
    2,626
    Likes:
    83
    Pucha, si redactaras mejor no te leería más de 2 veces para entenderte...

    Es que eso no tiene mucho que ver con "estabilidad", en todo caso sería disponiblidad del ancho de banda de internet.

    Una cosa es ser optimista, y otra muy diferente es ocultar información importante con tal de vender, por ahí alguien vende thunder sin mencionar que los plugins se vencen, y si no se sabe volver a reprogramarlos, el server se hace inservible de a pocos.

    El detalle de eso del 'cachefull', es que se tiene que aplicar límites al thunder siempre, puesto que no se está bajo red cableada. Supón este caso: Si el throughtput wireless es max 3.0MB y nunca sube de ahí, tengo speedy 3MB, ¿le pondrás 'caché full' al thunder? Pues qué límite se le puede colocar ahí? obviamente lo que no destrozaría la red wireless es que no se use "cachefull" (obviamente no se le puede poner límite menos de 1MB, ya que es demasiado poco para manejar 2 pedidos al caché), lo que en vez de ahorrarte el ancho de banda, en realidad se desperdiciaría, puesto que el cuello de botella está en la red wireless.

    Saludos.
     
  13. rvc63

    rvc63 Miembro de bronce

    Registro:
    26 Feb 2010
    Mensajes:
    1,081
    Likes:
    17
    Uhmmm osea q no cachea full ... todo lo q baja (.exe,rar,zip,flv ... ? ... y con el mikrotik si funciona bien el full cache ? ...
     
  14. MikroRAT

    MikroRAT Miembro maestro

    Registro:
    22 Oct 2009
    Mensajes:
    415
    Likes:
    48
    no funciona al menos en la version 3 por que seguro no le ha puesto el parent proxy en thunder apuntando al squid ¬¬ thunder de sol :risota:
     
    Última edición: 5 Ago 2010
  15. tender_rapist

    tender_rapist Miembro frecuente

    Registro:
    22 Oct 2009
    Mensajes:
    240
    Likes:
    5
    Si me sacan la duda... cuando bajar .exe,.rar etc se llama cachear,,, y cuando le asignamos una alta velocidad de ancho de banda a lo cacheado es full cache no? parece que hay muchos que no la tenemos clara...
     
  16. ryohnosuke

    ryohnosuke Miembro de plata

    Registro:
    28 Mar 2008
    Mensajes:
    2,626
    Likes:
    83
    Thunder tiene sitios específicos para hacer caché de contenido con links dinámicos, esto por medio de plugins, así que hay un plugin de youtube, youporn, rapidshare, etc.

    Mikrotik respeta al 100% el protocolo http/1.1 así que no hará hit de ningun link dinámico, como los videos de youtube.

    En realidad no lo puede hacer, puesto que el regex que está en el thunder.lst "http.*(\.windowsupdate\.com|\.microsoft\.com).*(\.cab|\.exe|\.iso|\.zip|\.psf)" le dice al squid que no haga cache a ninguna de las extensiones que aparecen ahí y que se las mande al thunder, que será el propio thunder el que manejará esas extensiones, entonces si el plugin no está en la posición de hacerlo, pues nada, no hace caché y no hay hit. Entonces si quieres que squid haga el caché, deberías de modificar ese regex.


    Hacer Cache viene a ser cuando el archivo se guarda en el disco. HIT es cuando un contenido sale del disco duro. "full cache" es cuando ese HIT sale a una velocidad superior a la especificada para el usuario.

    Saludos
     
    Última edición: 5 Ago 2010
  17. MikroRAT

    MikroRAT Miembro maestro

    Registro:
    22 Oct 2009
    Mensajes:
    415
    Likes:
    48
    puro blah blah , mas accion : Te falta algunos parametros quizas esto te ayude , sigue intentandolo, por favor no ver el ip publico creo que yo recibiendo ataques :risota:

    #Port usado a Squid
    http_port 5128 transparent
    visible_hostname superproxy
    icp_port 0

    #===================================================================#
    # SERVIDORES DNS E POLITICA (192.168.10.253 = IP do Mikrotik)
    dns_nameservers 192.168.10.253 8.8.8.8
    dns_retransmit_interval 5 seconds
    dns_timeout 2 minutes
    #===================================================================#
    # SAFE PORTS y ACL PRINCIPAL
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/32
    acl to_localhost dst 127.0.0.0/8
    acl con_clients dst 192.168.10.0/24 10.0.0.0/8 172.16.0.0/16
    acl purge method PURGE
    acl CONNECT method CONNECT
    acl Safe_ports port 80 # http
    acl Safe_ports port 21 # ftp
    acl Safe_ports port 443 # https
    acl Safe_ports port 70 # gopher
    acl Safe_ports port 210 # wais
    acl Safe_ports port 1025-65535 # unregistered ports
    acl Safe_ports port 280 # http-mgmt
    acl Safe_ports port 488 # gss-http
    acl Safe_ports port 591 # filemaker
    acl Safe_ports port 777 # multiling http
    acl Safe_ports port 631 # cups
    acl Safe_ports port 873 # rsync
    acl Safe_ports port 901 # SWAT
    acl SSL_ports port 443 # https
    acl SSL_ports port 563 # snews
    acl SSL_ports port 873 # rsync
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports
    http_access allow manager localhost con_clients
    http_access deny manager all
    icp_access allow purge localhost con_clients
    icp_access deny purge all
    refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.gif$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.png$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.jpeg$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.bmp$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.tif$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.tiff$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.swf$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.html$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.htm$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.shtml$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.shtm$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.nub$ 2880 80% 21600 reload-into-ims
    refresh_pattern ^ftp: 1440 20% 10080
    refresh_pattern ^gopher: 1440 0% 1440
    refresh_pattern . 0 20% 8640
    refresh_pattern -i exe$ 0 50% 999999
    refresh_pattern -i zip$ 0 50% 999999
    #===================================================================#
    # NIEGA ARCHIVOS ASX E ASF - STREAMING
    #acl asx url_regex -i \.asx$
    #cache deny asx
    #acl asf url_regex -i \.asf$
    #cache deny asf
    #===================================================================#
    # BLOQUEO DE ARCHIVOS
    #acl vbs url_regex -i .*\.VBS$
    #http_access deny vbs
    #acl scr url_regex -i .*\.SCR$
    #http_access deny scr
    #acl cmd url_regex -i .*\.CMD$
    #http_access deny cmd
    #acl pif url_regex -i .*\.PIF$
    #http_access deny pif
    #===================================================================#
    # USO DE MEMORIA SQUID
    #===================================================================#
    cache_mem 2048 MB
    cache_swap_low 90
    cache_swap_high 95
    #===================================================================#
    # TAMAÑO ARCHIVOS ALMACENADOS CACHE SQUID
    maximum_object_size 150 MB
    minimum_object_size 0 KB
    maximum_object_size_in_memory 100 KB
    #===================================================================#
    # POLITICA DE SUSTITUCION DE CACHE
    #===================================================================#
    cache_replacement_policy heap LFUDA
    memory_replacement_policy lru
    ipcache_size 4096
    ipcache_low 90
    ipcache_high 95
    fqdncache_size 1024
    max_filedescriptors 16384
    cache_dir aufs /var/spool/squid 320000 16 256
    cache_effective_user proxy
    ftp_user bpillaca@tconectaperu.com
    #===================================================================#
    # LOGS
    access_log /var/log/squid/access.log
    coredump_dir /var/spool/squid
    server_persistent_connections off
    zph_mode tos
    zph_local 0x30
    #===================================================================#
    # PUBLICIDAD MSN / GENERICO / MALWARES
    #===================================================================#
    #acl ADSAdClient url_regex ADSAdClient31.dll
    #http_access deny ADSAdClient
    #deny_info http://caminhoparaoseubannerdomsn/msn./gif/flash ADSAdClient
    #acl publicidade dstdomain url_regex -i "/etc/squid/publicidade.lst"
    #http_access deny publicidade
    #deny_info http://www.seudominioxx.com.br/publicid ... erico.html publicidade
    #acl malware_block_list url_regex -i "/etc/squid/malware_block_list.txt"
    #http_access deny malware_block_list
    #deny_info http://www.seudominioxx.com.br/avisos/perigo.html malware_block_list
    #===================================================================#
    # THUNDERCACHE 2.X - REGEX
    #acl thunder_lst url_regex -i "/etc/squid/thunder.lst"
    #cache deny thunder_lst
    #url_rewrite_children 200
    #acl store_rewrite_list url_regex -i "/etc/squid/thunder.lst"
    #url_rewrite_access allow store_rewrite_list
    #url_rewrite_access deny all
    #url_rewrite_program /etc/squid/loader.php
    #acl localcache dstdomain IPDESTESERVIDOR
    #cache deny localcache
    #===================================================================#
    # THUNDERCACHE 3.X - REGEX
    acl thunder_lst url_regex -i "/etc/thunder/thunder.lst"
    cache deny thunder_lst
    cache_peer 127.0.0.1 parent 8080 0 proxy-only no-digest
    dead_peer_timeout 2 seconds
    cache_peer_access 127.0.0.1 allow thunder_lst
    cache_peer_access 127.0.0.1 deny all
     
    Última edición: 5 Ago 2010
  18. rojocesar

    rojocesar Miembro de bronce

    Registro:
    3 May 2009
    Mensajes:
    1,770
    Likes:
    298
    Bueno aqui hasta ahora nadie habla sobre el costo... anteriormente era FREEEE... el THUNDERCACHE... bueno ahora lamentablemente.. estan cobrando la modica suma de 150 dolares... :'( :cray:
    Ahora estamos sujetos en la version free de thunder (la 3) de algunos bugs.. que mi estimado Ryo esta tratando (porque esta en C++) de resolverlos.. sumenle a esto pagos mensuales o semestrales..
    Me gustaria si no fuera mucha molestia que coloquen las diferencias entre la version 3 y la version 4 para que nuestros estimados amigos del foro puedan ver.
     
  19. ryohnosuke

    ryohnosuke Miembro de plata

    Registro:
    28 Mar 2008
    Mensajes:
    2,626
    Likes:
    83
    Buena con el copy/paste brasilero xD. Igual, es que no tiene sentido si no editas el thunder.lst para que le permita al squid manejar esas extensiones, quizá tu thunder no está funcionando (lease "cache deny")

    Saludos.
     
    Última edición: 5 Ago 2010
  20. tender_rapist

    tender_rapist Miembro frecuente

    Registro:
    22 Oct 2009
    Mensajes:
    240
    Likes:
    5
    Si fuera copy del brasilero diria "# BLOQUEU DU ARCHIVOS" XDD y respecto a la version 4 es verdad que ya no depende del squid para que funque y que michi son childrens exactamente?