香港团队游L签证去台湾

我现在有中国护照，商务入台证，一年2次的L签香港通行证。能否通过香港去台湾？旅行社说不行，要自由行G签的香港通行证，说是从台湾回香港时进不了香港。

请解答一下啊，准备下周去台湾。多谢。