护照只去香港后的影响

十一我第一次持空白护照和行程单去香港结果被盘问并只给了一天，陆路返回后又被训斥并说以后不能再过境香港坐飞机了，请问这对我以后持通行证进出香港有无影响，还有持护照从国外飞机过境香港回内地有无影响，谢谢。