Jak spolehlivě otestovat stabilitu připojení zákazníka

forkman · 2021-02-06T16:32:17+00:00

Nevím jestli jsem to správně popsal, ale máme pár zákazníků z různých konců sítě, co si stěžují na nestabilitu - vysoký jitter, packet loss atd. Jelikož máme...

gemb

Treba si ujastnit hlavne presny problem a kde je sposobeny. To, ze mas ping relativne v poriadku podla monitoringu je sice fajn ale je to len icmp. Skus si to z nejakeho mikrotiku, napr nejaky hlavny router pustit traceroute v udp na klientsku antenu toho zakaznika. Tam hned zistis problem s pingom, jitterom a pod. Pokial to vsak bude v poriadku tak klasiky problem na domacej wifi...xy krat sa toto stane. Na wifi nejaky ten paket vypadne a pod. idealne nejaka zarusena 2,4ghz alebo zariadenie ktore x krat spadlo na zem, stare ovladace atd....najlepsi test su podla mna ruske zdielacky alebo hraci...tam sa overi kvalita spojenia.

forkman

To jsem zapomněl napsat, doma to má všechno na kabelu. Problémy s WiFi jsou úplně jiná pohádka, to bych sem radši ani netahal 😀

Traceroute můžu zkoušet jak chci, ale on mi pošle log pingu, kde jich jsou 3 tisice a z toho 2 vypadly, ostatní jsou průměr 10 ms. Ale stejně mu údajně nefunguje Teams, Skype a prostě nic realtime a to ne jen v tu dobu výpadku pingu.

Jinak je to 5AC, ta je ten debug docela OK. Právě že měl předtím M5 a tam jsem ty výpadky objektivně tím iperfem změřil. Náhodně cca 2% PL, ale na to stačil test 30 sekund.

ladik

Ja se obavam, ze mu to doma kravi nejaky switch nebo neco v jinem pocitaci.

darklogic

Ja bych rad videl reakci od hracu typu O2, T-M apod., kdyz by si jim borec na domaci lince stezoval, ze mu vypadnou 2 z 3000 pingu 🙂

helapc

Ahoj Miro, jestli ti to pomůže máme na stránkách aplikaci pro windows, která přes cmd pustí ping od zákazníka na námi zvolené adresy. Po ukončení se výsledek odešle emailem k nám na dohled.

basty

helapc pěkný, mrknu.

pgb

Takový brainstorming: pokud chodí ping, tak to neznamená že nemá problém například s otevíráním konexí. Ping na tohle absolutně nestačí. Pokud už lovíte takovéhle duchy, tak je dobré si pustit ze střechy nebo z nějakého blackboxu až u něj v síti testy, které zkouší otevírat nové spojení. Taky jsem si prošel touhle popisovanou chybou.

helapc

Souhlas chybu vadných ONT HSxxxx nám to taky nepomohlo odhalit, přesto se to občas hodí.

pgb

Jen taková blbost, plné nefragmentované mtu předpokládám prochází.

wwire

Pokud jsou věci od Microsoftu, tak bacha na DNSka, on i s těma jejich CDNkama čarují. Můj oblíbený trik, co jsem už několikrát řešil, je TTL u DNS nastavené na 0 ...

A MTU je dobrá poznámka, bacha na to.

ekrajnak

forkman zabbix sa da vytuningovat, aby robil ping v intervale 1s a ukladal do DB 10s priemer. Otestovane, je to fajn vec, je to velmi pekny graf.

ICMP moze byt prioritizovane (default v MK pri nv2) a neukaze saturovanu linku. Skusil by som iny typ testu, napr. cas HTTP download testu weboveho rozhrania CPE. Viď. https://twitter.com/BlazejKrajnak/status/1318211900195430400?s=19

Predpokladam ze ak nejaky zakaznik hlasi problem s pingom/jitterom, nejde o ICMP test ale nieco custom nad udp/tcp (hlavne gambleri).

Posli ten graf v 5s intervaloch na CPE pre zaujimavost (response time aj loss).

pgb

ekrajnak jen pro inspiraci: máme napsané pingátko a dělá to že pošle každých 20s 10x icmp s 1s intervalem. Pokud se objeví packet loss, tak se na grafu vynese v procentech 0-100%. Má to tu vlastnost že do databáze posíláš za minutu "jen" 3 hodnoty.
https://imgur.com/tYUKxCv.png

ekrajnak

pgb pfuuu, grafy mam rad 😃 tento konkretny meral co, na akej linke? Pride mi to viac ako idealny graf. Samozrejme cielom je ukladat co najmenej dat ale zaroven mat vysoke rozlisenie nameranych dat. fping-u treba pekne nalozit, ten to robi s prstom v nose 🙂

U mna v zabbixe, aj na licencovanom radiu alebo optike mam nieco take (proste obcas to peakne, pingam vzdy nejaky MK). Toto povazujem za uplne normalne.

Akurat pred chvilou som riesil gamblera. V trase 2x licenc radio 10G/11G, 5G PTP na sajt a 5G PTMP sektor. Sektor bol zabudnuty na 802.11 a pekne v grafoch vidiet nejake peaky (na tie sa zakaznik stazoval). Pri obycajnom merani sa nieco take nenajde. Po prepnuti na NV2 uz tie peaky nevidiet, ale zato latencia isla pekne hore, pritom kapacita tam je mnohonasobne naddimenzovana, nic nesaturuje. O jittery ani nehovorim (ale ved NV2).

Rovnako pekne sa podla tych 1s intervalovych ICMP testov detekuje aj saturacia, vyberam extremny pripad. 10% stratovost znamena, ze sa stratil 1 ping z 10 pocas 10s.

A nakoniec, pekne porovnanie ICMP pingu vs. cas stiahnutia web GUI CPE. Dalsia dobra metrika do zbierky.

pgb

ekrajnak do grafů icmp schválně vynáším i ztrátovost ... takže v grafu mám hodnoty min, max, avg, pl ... a pro kazdý bod to je výsledek z 10x icmp s intervalem 1s, posíláno každých 20s. Takže z jedné minuty pokryji vcelku rovnoměrně 50% času. Ztrátovost je udaná procenty (10% = 1 packet v měřícím bodě). .... Ten graf výše je skok přes 1 5GHz p2p rádio, ping na RB. Samotné koncové RB občas ztrátuje/peakne (záleží dost jaký model a konfigurace, způsobuje to mrak věcí, ale dá se to vyladit aby ztrátoval minimálně). Co je občas zajímavé, tak se podívat na zátěž toho monitorovacího stroje.
Legenda k odkazu https://ibb.co/4JGDXJY :

"divně naběhlý 5G spoj" po výpadku proudu, po restartu RB switche za ním v pořádku (WTF???)
ESXI=>SWITCH=>Linux=>Switch=>24G>Switch=>17G=>RB(750Gr3)
ESXI=>SWITCH=>Linux=>Switch=>24G>Switch=>17G=>switch=>60G=>RB(hexPoe pro)

coitus

forkman Pokial ti zakaznik k tomu neprida aj graf vytazenia linky v momente ked ma vysoký jitter a packet loss tak to nema ziadnu vypovednu hodnotu. Zakaznika shapujes na urcitu uroven linky a tvoj server ktory testuje pingom CPE zakaznika je neshapovany. To co sa potom deje u zakaznika je stav saturovanej linky. Zakaznik samozrejme bude tvrdit ze on nic nestahuje ale na grafe to krasne uvidis.

Uz som myslel ze som sam kto ma podobne problemy:
https://ispforum.cz/d/33416-zariadenie-na-monitorovanie-pripojenia-u-zakaznika

ekrajnak

coitus toto sa ale nestane, ak sa shapuje niecim inym ako fifo frontou. SFQ, Cake, CoDel sa takto spravat nebudu. A zaroven je to lepsie aj pre zakaznika. Ak niekto v domacnosti spusti torrent, tak fifo fronta zacne pekne dropovat online call alebo herny traffic.

tpoder

Při hledání obdobných duchařin se nám osvědčil celkem stupidní skript (https://raw.githubusercontent.com/netx-as/aping/main/aping), který ve streamu po 2ms generuje ping a kontroluje jestli dorazily všechny odpovědi a hlavně jestli dorazily ve správném pořadí (vypisuje jen když je něco špatně). Takto jsme došli třeba na problém, kdy Miktrotiky (CCR) mají tendencí přehodit pořadí paketů v okamžiku, kdy stěhují stream ze zatíženějšího core na jiný. Normální aplikace se s tím nějak srovnají, ale třeba IPTV čí streamovací aplikace s tím mají tu a tam problém (zejména když se to potká s něčím dalším). Obdobně jsme narazili na situaci, kdy se stack na EdgeCore občas "zamyslel" a v průběhu několika ms zahodil pár paketů. V obou případech, stejně jako u Vás, klasické pingací testy například ze zabbixu bez chyby, protože problematický jev trval příliš krátce a ne zas tak často aby se v testu nějak viditelně projevil, nicméně streamům to náhodile vadilo.

Druhá věc je potom jak to zákazník sám testuje a jak věrohodné jeho výstupy jsou. Kolikrát se stává, že zákazník si sám ucpe linku (ucpou mu to třeba děcka tahající filmy z uložto) o čemž dotyčný stěžovatel nemá tušení. Doloží to pak pingama někam na druhý konec světa ze kterých nelze dovodit vůbec nic.

Třetí věc s čím jsme se setkali je samotné fungování shapovacích algoritmů. Řada z nich má reakci řekněme na úrovni 100ms a prvních 100ms (např. sfq na MT) jede provoz defacto naplno. Opět v normálním provozu to není samo o sobě nic dramatického, ale pokud se na sítí začne potkávat větší množství například IPTV/stream provozu, kde se každých několik vteřin stahuje nových chunk s max. rychlostí v prvních 100ms a jev se potká například ještě s pár přehozenýma paketama, tak stížnost, že telka zase "kostičkuje" je na světě.

basty

Velmi zajimave...
Ma nekdo tip ma nejaky komplexnejsi program co by meric to poradi packetu, zpozdeni, vypadky apod?

Další stránka »