港澳通行证入港的问题

咨询个技术问题。月底跟团去南非旅游，回来香港转机，那天正好还有个会要开。旅行社说可以在香港自己出去，但是团队签证必须要把护照拿走销签。问问大家知道不知道如果南非飞回来转机时候，直接拿港澳通行证入港的话是否可以呢？