日本出境时护照上的退税单海关没有撕下，被带

之前看到有驴友说这个退税单一定要交给海关，不然有被追税的风险。
我是一张最大额的单子，差不多金额2000人民币，银联付的款。怎么办？
海关员没撕，结果给带回来了，还可以补救吗？还是要寄出给海关？
有类似经历的驴友吗？求指点！