关于港澳通行证的问题

各位大大，小弟问个问题，我香港通行证办的是1年2次的，前几个月从上海到香港然后从香港到澳门，然后回到香港，再回上海，这个香港签证算用了几次啊？我现在又要去香港了，是否还要去办签证。