为什么不能过阳历生日？

我从小到大一直过的是农历生日，但最近想改成阳历生日，觉得阳历日期固定，记起来也方便。结果家里长辈一听就不乐意了，说“过阳历生日不吉利”“祖宗不认”，还举了好几个例子说谁谁谁改了之后运气就变差了。我查了查网上，有的说传统习俗里生日就是按农历算的，有的说阳历是“洋人的东西”，但也没讲清楚到底为啥不能过。我自己试着过了一次阳历生日，除了家人念叨了几句，好像也没发生什么特别的事。所以想问问大家，过阳历生日真的有什么讲究或者忌讳吗？还是说纯粹是老一辈的习惯问题？希望有人能结合传统习俗或者民间说法，帮我解开这个疑惑。