从香港飞台湾的过境问题

目的地是台湾，已办理好入台证以及大陆台湾通行证，为了便宜，从香港飞台湾，请问怎么计算过境免签的7日？例如我1号入境香港，但是1号就立刻从香港机场飞去台湾，直至16号才回香港（台湾可以停留16日，没有违法），16号回香港之后立刻过关出境。那我算违法香港的免签7日吗？
如果我16号回香港后可否停留1、2日再走？