护照出境中国，L签入境香港的可行性？

持有日本签证与从香港飞吉隆坡转日本的机票。
因为中间有点事情，要飞到香港后，回到深圳一趟，再返回香港。
现在有L签的签注，直飞香港的机票，请问是否可以以护照去香港转机的理由出中国边检，而后在香港入境的时候以L签的通行证入境，出境香港用L签通行证，入境回到中国后，用护照入境。
办完事情后，再以护照出中国大陆，并以护照入香港转机？
后面一段我知道应该没问题，就是前一段，护照出中国，L签进香港的那部分，不知道是否可行，香港边检发现我通行证上没有出境章，不会责问我，必须要求我用护照入境香港么？
谢谢！