Jak spolehlivě otestovat stabilitu připojení zákazníka

forkman

Nevím jestli jsem to správně popsal, ale máme pár zákazníků z různých konců sítě, co si stěžují na nestabilitu - vysoký jitter, packet loss atd. Jelikož máme graf pingu na všechny CPE v 5s intervalu a vůbec nic tam není, zákazníkovi vždy odpovíme, že u nás vše OK.

Jenomže oni nám pošlou záznamy z nějakých ping plotterů, že na anténu OK, ale na náš Zabbix server, který je pinguje úplně bez problémů, mají náhodné výpadky, nebo ping 200 ms+. Trochu haluz, kterou si neumím vysvětlit.

Doma mají samozřejmě samé Cisco, Zyxel, nebo jiné kvalitní věci. Jak otestovat kde je opravdu chyba? Online meety jsou údajně nepoužitelné, i když soused na stejném AP to má v pohodě.

Takové ty údajné 2s výpadky se hrozně špatně zjišťují. Máte nějaké tip jak to diagnostikovat? Zkoušel jsem UDP iperf přímo z antény omezený na 1 Mbit (používáme UBNT) proti Zabbix serveru a za hodinu vypadly 3 pakety. Už opravdu nevím co s tím. Samozřejmě že je můžu poslat kamsi, ale oni tam pravděpodobně i půjdou :-)

Předem dík za každou rozumnou radu.

disk

forkman zkousi doma pres kabel nebo pres wifi?

ekrajnak

forkman zabbix sa da vytuningovat, aby robil ping v intervale 1s a ukladal do DB 10s priemer. Otestovane, je to fajn vec, je to velmi pekny graf.

ICMP moze byt prioritizovane (default v MK pri nv2) a neukaze saturovanu linku. Skusil by som iny typ testu, napr. cas HTTP download testu weboveho rozhrania CPE. Viď. https://twitter.com/BlazejKrajnak/status/1318211900195430400?s=19

Predpokladam ze ak nejaky zakaznik hlasi problem s pingom/jitterom, nejde o ICMP test ale nieco custom nad udp/tcp (hlavne gambleri).

Posli ten graf v 5s intervaloch na CPE pre zaujimavost (response time aj loss).

coitus

forkman Pokial ti zakaznik k tomu neprida aj graf vytazenia linky v momente ked ma vysoký jitter a packet loss tak to nema ziadnu vypovednu hodnotu. Zakaznika shapujes na urcitu uroven linky a tvoj server ktory testuje pingom CPE zakaznika je neshapovany. To co sa potom deje u zakaznika je stav saturovanej linky. Zakaznik samozrejme bude tvrdit ze on nic nestahuje ale na grafe to krasne uvidis.

Uz som myslel ze som sam kto ma podobne problemy:
https://ispforum.cz/d/33416-zariadenie-na-monitorovanie-pripojenia-u-zakaznika

pgb

Jaký to je klientky zařízení? Řada M5 nebo AC?
Edit: pokud M5 tak pošli výstup z dmesg. Zkuste ping až k nim na router.

basty

Pingat netwatchem na všechny prvky po cestě každou s a uvidíš co kde vypadne.

gemb

Treba si ujastnit hlavne presny problem a kde je sposobeny. To, ze mas ping relativne v poriadku podla monitoringu je sice fajn ale je to len icmp. Skus si to z nejakeho mikrotiku, napr nejaky hlavny router pustit traceroute v udp na klientsku antenu toho zakaznika. Tam hned zistis problem s pingom, jitterom a pod. Pokial to vsak bude v poriadku tak klasiky problem na domacej wifi...xy krat sa toto stane. Na wifi nejaky ten paket vypadne a pod. idealne nejaka zarusena 2,4ghz alebo zariadenie ktore x krat spadlo na zem, stare ovladace atd....najlepsi test su podla mna ruske zdielacky alebo hraci...tam sa overi kvalita spojenia.

forkman

To jsem zapomněl napsat, doma to má všechno na kabelu. Problémy s WiFi jsou úplně jiná pohádka, to bych sem radši ani netahal 😀

Traceroute můžu zkoušet jak chci, ale on mi pošle log pingu, kde jich jsou 3 tisice a z toho 2 vypadly, ostatní jsou průměr 10 ms. Ale stejně mu údajně nefunguje Teams, Skype a prostě nic realtime a to ne jen v tu dobu výpadku pingu.

Jinak je to 5AC, ta je ten debug docela OK. Právě že měl předtím M5 a tam jsem ty výpadky objektivně tím iperfem změřil. Náhodně cca 2% PL, ale na to stačil test 30 sekund.

ladik

Ja se obavam, ze mu to doma kravi nejaky switch nebo neco v jinem pocitaci.

darklogic

Ja bych rad videl reakci od hracu typu O2, T-M apod., kdyz by si jim borec na domaci lince stezoval, ze mu vypadnou 2 z 3000 pingu 🙂

helapc

Ahoj Miro, jestli ti to pomůže máme na stránkách aplikaci pro windows, která přes cmd pustí ping od zákazníka na námi zvolené adresy. Po ukončení se výsledek odešle emailem k nám na dohled.

basty

helapc pěkný, mrknu.

pgb

Takový brainstorming: pokud chodí ping, tak to neznamená že nemá problém například s otevíráním konexí. Ping na tohle absolutně nestačí. Pokud už lovíte takovéhle duchy, tak je dobré si pustit ze střechy nebo z nějakého blackboxu až u něj v síti testy, které zkouší otevírat nové spojení. Taky jsem si prošel touhle popisovanou chybou.

helapc

Souhlas chybu vadných ONT HSxxxx nám to taky nepomohlo odhalit, přesto se to občas hodí.

pgb

Jen taková blbost, plné nefragmentované mtu předpokládám prochází.

wwire

Pokud jsou věci od Microsoftu, tak bacha na DNSka, on i s těma jejich CDNkama čarují. Můj oblíbený trik, co jsem už několikrát řešil, je TTL u DNS nastavené na 0 ...

A MTU je dobrá poznámka, bacha na to.

pgb

ekrajnak jen pro inspiraci: máme napsané pingátko a dělá to že pošle každých 20s 10x icmp s 1s intervalem. Pokud se objeví packet loss, tak se na grafu vynese v procentech 0-100%. Má to tu vlastnost že do databáze posíláš za minutu "jen" 3 hodnoty.
https://imgur.com/tYUKxCv.png

ekrajnak

pgb pfuuu, grafy mam rad 😃 tento konkretny meral co, na akej linke? Pride mi to viac ako idealny graf. Samozrejme cielom je ukladat co najmenej dat ale zaroven mat vysoke rozlisenie nameranych dat. fping-u treba pekne nalozit, ten to robi s prstom v nose 🙂

U mna v zabbixe, aj na licencovanom radiu alebo optike mam nieco take (proste obcas to peakne, pingam vzdy nejaky MK). Toto povazujem za uplne normalne.

Akurat pred chvilou som riesil gamblera. V trase 2x licenc radio 10G/11G, 5G PTP na sajt a 5G PTMP sektor. Sektor bol zabudnuty na 802.11 a pekne v grafoch vidiet nejake peaky (na tie sa zakaznik stazoval). Pri obycajnom merani sa nieco take nenajde. Po prepnuti na NV2 uz tie peaky nevidiet, ale zato latencia isla pekne hore, pritom kapacita tam je mnohonasobne naddimenzovana, nic nesaturuje. O jittery ani nehovorim (ale ved NV2).

Rovnako pekne sa podla tych 1s intervalovych ICMP testov detekuje aj saturacia, vyberam extremny pripad. 10% stratovost znamena, ze sa stratil 1 ping z 10 pocas 10s.

A nakoniec, pekne porovnanie ICMP pingu vs. cas stiahnutia web GUI CPE. Dalsia dobra metrika do zbierky.

pgb

ekrajnak do grafů icmp schválně vynáším i ztrátovost ... takže v grafu mám hodnoty min, max, avg, pl ... a pro kazdý bod to je výsledek z 10x icmp s intervalem 1s, posíláno každých 20s. Takže z jedné minuty pokryji vcelku rovnoměrně 50% času. Ztrátovost je udaná procenty (10% = 1 packet v měřícím bodě). .... Ten graf výše je skok přes 1 5GHz p2p rádio, ping na RB. Samotné koncové RB občas ztrátuje/peakne (záleží dost jaký model a konfigurace, způsobuje to mrak věcí, ale dá se to vyladit aby ztrátoval minimálně). Co je občas zajímavé, tak se podívat na zátěž toho monitorovacího stroje.
Legenda k odkazu https://ibb.co/4JGDXJY :

"divně naběhlý 5G spoj" po výpadku proudu, po restartu RB switche za ním v pořádku (WTF???)
ESXI=>SWITCH=>Linux=>Switch=>24G>Switch=>17G=>RB(750Gr3)
ESXI=>SWITCH=>Linux=>Switch=>24G>Switch=>17G=>switch=>60G=>RB(hexPoe pro)

ekrajnak

coitus toto sa ale nestane, ak sa shapuje niecim inym ako fifo frontou. SFQ, Cake, CoDel sa takto spravat nebudu. A zaroven je to lepsie aj pre zakaznika. Ak niekto v domacnosti spusti torrent, tak fifo fronta zacne pekne dropovat online call alebo herny traffic.

Další stránka »