Budeš tam mít nějakou logickou chybu. Prostě není důvod, proč by to nemělo jít. Není to žádná specialita jako FTP nebo torrent, nebo nějaké RPC šílenosti. Dostane paket, tak na něj odpoví. Je to stejné, jako web server. Až na to, že potřebuje oba protokoly, tcp i udp.
Takže si to někde buď filtruješ, na routeru nebo tom serveru, nebo máš blbě toho binda a špatně udělané např. ACL.
Zkus si to po cestě logovat, nebo sniffovat. Uvidíš, kde se ti to sekne a nevrátí. Zkoušej.