香港为何怕大陆公安？

最近刷到这个问题，感觉挺有意思的。其实我是内地人，一直对香港的司法和执法体系不太了解。最近看新闻，总提到香港警察和大陆公安各自独立执法，但有些网友说香港人“怕”大陆公安过来，我就有点困惑了。我自己查了一些资料，知道香港有“一国两制”，法律和执法系统跟内地不一样，大陆公安一般不会跨境执法。但为什么网上总有人拿这个说事，甚至感觉有点紧张？我试过问朋友，他们要么说“历史原因”，要么说“怕被管”，但我觉得没说到点子上。所以想请懂行的人聊聊：这种“怕”到底是指什么？是怕执法权混淆，还是怕社会制度差异带来的不信任？或者只是某些人的误解？希望能听到客观、接地气的分析，别太官方，谢谢！