护照过境在HK停留，到第七天才离开HK可以吗？

我们打算6月去马来西亚旅行，返程订了飞回香港的机票，想带孩子在香港玩几天再回广东。孩子比较小（3岁），所以我不想把行程安排得太紧密。由于我们回香港的机票是晚上抵达，等于第一天的时间就没有了。第一天晚上到，第七天早上离开，其实也只有五个整天的时间。如果是第六天离开香港的话，就等于只有四个整天，太少啦。那么我想到第七天的时候再离开香港回广东，这样有问题吗？请知道或有此经历的朋友回答一下，最好能把护照过境在港停留七天的定义的出处告诉我一下，这样会更安心些。谢谢大家。