[Diavolo_Rosso]

Come si fa a distinguere se il server non risponde perchè è down rispetto a quando è filtrato?

Con Javascript come possiamo ottenere il codice della risposta http?

di solito se è filtrato viene presentata la pagina del sequestro cautelativo, quindi immagino che una risposta cmq viene data (se non 200, sarà la 301 o qualche altro redirect), mentre se è down il sito non risponde proprio.

mentre per analizzare le risposte avevo pensato di farlo tramite php e utilizzare ajax, piuttosto che farlo direttamente in js e lasciare gestire a js solo la parte che già viene svolta ora, che per forza di cose deve essere fatta in locale.

Se mai stasera, se trovo tempo vedo se è fattibile la cosa.

[Tophost]

Se viene filtrato non da alcuna pagina di sequestro preventivo. Solo il dominio non è raggiungibile. Infatti siamo di fronte ad un comportamento atipico.

[lacellula]

Perdonate ma non ci sto capendo molto. Premesso che TPB ha più di un indirizzo IP (vedi giù), ad esempio adesso per thepiratebay.org corrisponde 83.140.65.11 mentre ieri era un altro. Con buona probabilità le classi di IP corrispondono a differenti macchine (round robin? Bilanciamento su più server?) posso chiedere per quale motivo vi concentrate soltanto su 83.140.33.40? Non dico che non serva ma, imho, se ci sono più macchine probabilmente queste possono essere escluse, tenendo conto che ogni giorno elaborano miliardi di richieste. E potrebbe essere un motivo per avere dei risultati fuorvianti.

Ma questo è il pelo nell'uovo, ciò che non capisco è altro. Abbondantemente s'è parlato del fatto che avviene un "DROP PACKET" quando il pacchetto viaggia verso uno dei server noti e che la "censura" o meglio la "chiusura" avviene da qualche parte nei fantastici nodi degli internet provider. Ora, tenendo conto che per quanto strano possa sembrare, la richiesta/imposizione è stata avanzata da un tribunale per cui gli operatori sono obbligati a bloccare l'accesso a dette pagine e tenendo conto che, guardando in legalese, si legge che viene bloccato l'accesso al sito, che è ben diverso dall'accesso ad un IP che potrebbe cambiare, non capisco la finalità dell'iniziativa.

Un'ultima cosa riguardo al widget. A me sembra lampante, ma con buona pace degli animi mi sto rincretinendo, per cui vi chiedo se è possibile avere un tutorial per comprendere l'iniziativa (e sono serio). Si sta cercando di "pingare" un server (al di la del fatto che si richiede una immagine PNG in esso risedente)  che è escluso da tutti i fornitori di servizi internet. In altre parole si da per morto un server quando invece è vivo e funzionante, basta mettere piede nella vicina svizzera, e si cerca da esso una risposta 200, 404, 301... Un po' come urlare ad una persona come sta sapendo che questa abita in un altro stato e che non ci sentirà mai. Inoltre si utilizza javascript per fare questo!!! Ritengo che JS sia uno tra i linguaggi di programmazione più potenti ma date alcune sue caratteristiche tra cui a) di altissimissimo livello b) dipendente dal browser c) limitata dal/al browser potrebbero sorgere alcuni problemi nel cercare di effettuare questo test.

Ripeto: il senso dell'iniziativa è quello di sapere quante persone usano OpenDNS?

login as: lacellula
lacellula@lacellula.net's password:
[fabrizio]$ telnet 83.140.65.11 80
Trying 83.140.65.11...
Connected to 83.140.65.11.
Escape character is '^]'.
GET / HTTP/1.1
Host: 83.140.65.11

HTTP/1.1 301 Moved Permanently
Location: http://thepiratebay.org/
Content-type: text/html
Content-Length: 0
Date: Wed, 17 Sep 2008 15:46:10 GMT
Server: lighttpd

Connection closed by foreign host.

[fabrizio]$ telnet 83.140.65.11 80
GET / HTTP/1.1
Host: thepiratebay.org

HTTP/1.1 200 OK
Set-Cookie: PHPSESSID=07c21706203873c62982baaa0fa6c831; path=/; domain=.thepiratebay.org
Set-Cookie: __qca=deleted; expires=Tue, 18-Sep-2007 15:51:32 GMT; path=/; domain=.thepiratebay.org
Set-Cookie: __qca=deleted; expires=Tue, 18-Sep-2007 15:51:32 GMT
Set-Cookie: language=en_EN; expires=Thu, 17-Sep-2009 15:51:33 GMT; path=/; domain=.thepiratebay.org
Set-Cookie: country=SE; expires=Thu, 17-Sep-2009 15:51:33 GMT; path=/; domain=.thepiratebay.org
Expires: Mon, 26 Jul 1997 05:00:00 GMT
Last-Modified: Wed, 17 Sep 2008 15:51:33 GMT
Cache-Control: no-store, no-cache, must-revalidate
Cache-Control: post-check=0, pre-check=0
Pragma: no-cache
Content-Type: text/html;charset=UTF-8
Transfer-Encoding: chunked
Date: Wed, 17 Sep 2008 15:51:33 GMT
Server: lighttpd


HTTP/1.1 200
Location: http://thepiratebay.org/
Content-type: text/html

[Diavolo_Rosso]

Ripeto: il senso dell'iniziativa è quello di sapere quante persone usano OpenDNS?

Beh...in buona sostanza si, visto che sono gli unici e/o i più famosi dns liberi da vincoli.
ma in ogni caso il solo banner che informa gli eventuali ignoranti in materia, anche senza analisi statistica alle spalle, rimane pur sempre un ottima iniziativa secondo me.


p.s. x tophost: se mi dareste una dritta su come controllate ora la raggiungibilità dei domini, mi risolvereste un bel pò di lavoro alla cieca.

[Tophost]

di solito se è filtrato viene presentata la pagina del sequestro cautelativo, quindi immagino che una risposta cmq viene data (se non  200, sarà la 301 o qualche altro redirect), mentre se è down il sito non  risponde proprio.

Questo è applicabile solo ai siti filtrati tramite DNS, ma il nostro
progetto intende anche misurare il filtraggio degli IP.
Comunque, anche i filtraggi tramite DNS non sempre sono fatti come hai detto.

mentre per analizzare le risposte avevo pensato di farlo tramite php e utilizzare ajax, piuttosto che farlo direttamente in js e lasciare gestire a js solo la parte che già viene svolta ora, che per forza di cose deve essere fatta in locale.

Usiamo già AJAX. Ma se il lavoro di testing lo facciamo fare al server
misureremo la sua connettività, non quella dell'utente...


Quello che ci interessa verificare con questa iniziativa è quanti utenti italiani possono e riescono ad aggirare la censura. Quali ISP la applicano lo sappiamo già senza bisogno di fare prove.

Per il resto potete tranquillamente vedere il funzionamento del widget guardando il javascript non compresso usato in http://censura.tophost.it/widget/

[Diavolo_Rosso]

Usiamo già AJAX. Ma se il lavoro di testing lo facciamo fare al server
misureremo la sua connettività, non quella dell'utente...

no, io intendevo dire di controllare la raggiungibilità tramite server, ritornare una risposta contenente i siti raggiungibili, e poi eseguire il controllo da js solo di quelli.

[lacellula]

Ma perché non mi ascolta nessuno? ^_^

[Tophost]

Ma perché non mi ascolta nessuno? ^_^

Non capisco...

[lacellula]

I problemi secondo me sono i seguenti.

1) ThePirateBay ha più macchine con relativi IP. Alcune macchine sono "memcached" altre servono per i "DB" mentre altre servono le pagine web, che poi sono i target del test. Attualmente, come ho avuto di scrivere sopra, il check viene fatto soltanto su un IP e, come ho detto, potrebbe fuorviare i risultati visto che quell'IP potrebbe essere temporaneamente off-limit poiché c'è una normale rotazione dei server. Per cui, come dice diavolo, si dovrebbe estendere il controllo a tutti gli altri IP. A questo punto:

-> Gli IP potrebbero cambiare in continuazione, tenendo conto della natura "particolare" di TPB questo è moooolto ipotizzabile. È vero che, a monte, TopHost potrebbe aggiornare di volta in volta il codice per includere questi IP ma, in statistica, questo si chiama "campionamento a chiazza" e non è molto affidabile: come si fa a stabilire quale serven inserire? Quanto tempo passa da quando un server si inserisce e l'altro viene spento? A questo si potrebbe ovviare creando un semplice script in C ed un cronjob che risolve l'indirizzo ad intervalli regolari, ma rimane il fatto della progettazione a monte.
-> Come si stabilisce se un IP non è raggiungibile per colpa del "DROP PACKET" (censurato) o perché è spento od escluso? Si potrebbe fare così: utente->jquery->server->jquery->utente ma comunque il controllo verrebbe fatto sempre e comunque da un server! E poi (mannaggia alle psicosi da programmatore) basterebbe un blade per le richieste?

2) Ritengo che Javascript/Jquery non sia un framework ottimale perché, secondo me, è troppo dipendente sia dal browser che dalle impostazioni di sicurezza che da una serie di fattori (presenza di LAN filtrate di uffici, incompatibilità e via dicendo). Non sono espertissimo ma ritengo improbabile che la stragrande maggior parte dei browser possa compiere le operazioni che stanno alla base dell'iniziativa in maniera serverless. Se ci si appoggia ad un server, allora, i risultati di certo saranno quelli del server e non degli utenti!
-> Si utilizza un applet java? Ecco già sarebbe più adatto e calzerebbe a pennello però questo comporta la rottura di dover caricare la JVM (io odio quando si apre da sola), inoltre tutti i problemi degli avvisi sicurezza e le restrizioni potrebbero abbassare, e di tanto!, lo spazio campione statisticamente significante.

3) La domanda fondamentale: perché tutto questo? Io ho provato i DNS di Wind, Alice, Tiscali e Fastweb da differenti computer: tutti bloccano TPB! Ed è logico, visto che c'è una disposizione di un tribunale. TopHost, se un giudice vi obbligasse a vendere i vostri prodotti a 5000€ c'è poco da fare, o cambiate stato oppure vi "piegate" alla decisione! Io penso, con un pizzico di arroganza, di poter già da subito dire la percentuale di "censura" riferita agli utenti che non possono accedere a TPB!  Sarebbe stato egualmente efficace lanciare un blog e sfruttare l'enorme impatto mediatico che avete per sensibilizzare la gente e, se questo è il senso ultimo della vostra iniziativa, mettere in campo la statistica, specialmente in questo modo, penso che sia un approccio sbagliato.

Ovviamente è una mia personalissima opinione!

[Tophost]

La Cellula, a diverse tue domande abbiamo gia risposto proprio in questo thread...

non ci legge nessuno...  :'(

[lacellula]

La Cellula, a diverse tue domande abbiamo gia risposto proprio in questo thread...

non ci legge nessuno...  :'(

No, avete risposto a Diavolo Rosso, non a me Con un quoting errato! 
http://www.prozone.it/smf/index.php/topic,3216.msg27386.html#msg27386

[Tophost]

oops...

COmunque questo andava a rispondere il perche' dell'iniziativa. Per il resto con la pubblicazione delle statistiche cercheremo di far emergere altri aspetti.

Quello che ci interessa verificare con questa iniziativa è quanti utenti italiani possono e riescono ad aggirare la censura. Quali ISP la applicano lo sappiamo già senza bisogno di fare prove.

Per il resto potete tranquillamente vedere il funzionamento del widget guardando il javascript non compresso usato in http://censura.tophost.it/widget/

[Diavolo_Rosso]

il check viene fatto soltanto su un IP e, come ho detto, potrebbe fuorviare i risultati visto che quell'IP potrebbe essere temporaneamente off-limit poiché c'è una normale rotazione dei server. Per cui, come dice diavolo, si dovrebbe estendere il controllo a tutti gli altri IP.

a parte il fatto che io non ho mai detto di estendere niente, e cmq dove l'hai letto che il check viene fatto solo su quell'ip? Il check viene fatto anche sui domini, che in questo momento risultano entrambi morti a prescindere da blocchi e mica blocchi, percui la rotazione degli ip per ora è il meno grave dei problemi. sarebbe prima il caso di iniziare a capire quando i domini sono raggiungibili. e la cosa non dovrebbe neanche essere difficile.

richiesta al server della pagina check.php -> la pagina check.php fa le sue richieste ai server (ovviamente si suppome che il server non sia sotto censura, altrimenti non serve a nulla) e vede se sono raggiungibili (basta un semplicissimo ping) -> la pagina check.php restituisce una risposta del tipo: dominio1-ok; dominio2-down; dominio3-ok; etc.... -> il js si smazzuola la risposta e ne estrae i domini raggiungibili, proseguendo a fare i check esattamente come fa ora, ma escludendo i domini irraggiungibili.

Non mi sembra una cosa cosi astriusa o complicata, ma mi sta portando via un mare di tempo perchè non sono mai arrivato a livelli cosi alti nella programmazione js e mi sto studiando da zero le jquery.


per il discorso della funzionalità di js, buona o cattiva che sia, di solito i sondaggi prendono a campione, quindi poco importa se qualcuno e bloccato dai proxy dell'ufficio, o usa un browser del 95 e non processa correttamente le jquery. nel mucchio non fanno troppo peso.

e poi qual'è il sistemista malato che blocca solo piratebay? cioè....che glie ne frega a lui di piratebay? o blocca tutto il traffico esterno, e allora non visitano neanche il tuo blog con il widget, oppure non bloccano niente e la richiesta avviene tranquillamente.

[Tophost]

@ DIavolo.

È sicuramente possibile controllare dal lato del server se il target è attivo o no, ma non giustificherebbe le risorse richieste quindi preferiamo eliminare a posteriori i dati raccolti durante i periodi di downtime.

[lacellula]

a parte il fatto che io non ho mai detto di estendere niente, e cmq dove l'hai letto che il check viene fatto solo su quell'ip?

Dallo snippet.

Il check viene fatto anche sui domini, che in questo momento risultano entrambi morti a prescindere da blocchi e mica blocchi, percui la rotazione degli ip per ora è il meno grave dei problemi. sarebbe prima il caso di iniziare a capire quando i domini sono raggiungibili. e la cosa non dovrebbe neanche essere difficile.

Ok, falla. Però ti garantisco che a te sembran morti ma in realtà sono vivi e vegeti!

richiesta al server della pagina check.php -> la pagina check.php fa le sue richieste ai server (ovviamente si suppome che il server non sia sotto censura, altrimenti non serve a nulla) e vede se sono raggiungibili (basta un semplicissimo ping) -> la pagina check.php restituisce una risposta del tipo: dominio1-ok; dominio2-down; dominio3-ok; etc.... -> il js si smazzuola la risposta e ne estrae i domini raggiungibili, proseguendo a fare i check esattamente come fa ora, ma escludendo i domini irraggiungibili.

Come sopra: fai tu il tutto! Però tieni conto che, per quello che riguarda il semplicissimo ping, devi mettere qualche semplicissimo server che costa qualche semplicissimo assegno.

per il discorso della funzionalità di js, buona o cattiva che sia, di solito i sondaggi prendono a campione, quindi poco importa se qualcuno e bloccato dai proxy dell'ufficio, o usa un browser del 95 e non processa correttamente le jquery. nel mucchio non fanno troppo peso.

Non è neppure così, ma effettivamente qui hai ragione. Altrimenti diventerei paranoico.

e poi qual'è il sistemista malato che blocca solo piratebay? cioè....che glie ne frega a lui di piratebay? o blocca tutto il traffico esterno, e allora non visitano neanche il tuo blog con il widget, oppure non bloccano niente e la richiesta avviene tranquillamente.

Il sistemista malato ha un nome ed un cognome: Stato Italiano.