Díky za informaci. Teď jsem to nastavil takto:
/ipv6 firewall filter
add action=accept chain=input in-interface=PPPoE-WAN protocol=icmpv6
add action=accept chain=input dst-port=546 in-interface=PPPoE-WAN protocol=udp
add action=drop chain=input in-interface=PPPoE-WAN
Zdá se, že to DHCP už asi komunikuje v pohodě, jenom nevím, jestli existuje nějaký další způsob ochrany toho input chainu.
Překvapilo mě, že se state connection to nefungovalo, myslel jsem, že když si o to DHCP klient požádal, tak že se automaticky otevře i cesta zpět.