没有赴台通行证，从台湾回大陆时可否直飞？

我有港澳通行证+签注，以及入台证，但没有时间办赴台通行证。

从大陆去台湾必须借道香港，这一点已经没有疑问。

但从台湾回大陆时，是否可坐直航班机，而不必再去HK转一下？

这种情况下，在进入大陆边防时，他们也会知道我去时入/出HK后，直至我回大陆期间的空白期是在台湾吗？即使知道，也会让我顺利入境吗？