为什么政府如此忌惮非访？

最近刷到好多关于非访的帖子，感觉挺困惑的。我知道政府一直强调依法信访，但为什么对“非访”——就是那种不走正常渠道、越级或者闹访的行为——管得那么严，甚至有时候手段挺强硬的？我自己查了一些资料，看到有人说是因为怕影响社会稳定，也有人说是怕被境外势力利用，但总觉得没说到根上。我想搞明白，这背后到底有啥深层的考量？是怕秩序乱了，还是怕有人借题发挥？希望有懂法律或者政策的朋友，能掰开揉碎了讲讲，别整那些官话套话，就说点实在的——政府到底在忌惮啥？