乳房有硬块是癌症吗？

最近洗澡的时候突然摸到乳房里有个小硬块，心里一下子就慌了。网上查了查，说什么的都有，有的说是乳腺增生，有的说是囊肿，还有的说是早期癌症……搞得我这两天觉都睡不好。我已经自己试着按了按，不疼，也不怎么移动，但就是心里没底。之前也去医院做过一次B超，医生说可能是纤维瘤，建议观察，但我还是不太放心，想问问大家：这种不痛的硬块到底风险大不大？有没有类似情况的姐妹？除了去医院复查，平时自己还能怎么判断？希望有经验的朋友或者医生能帮我分析分析，给我一点安心的建议。