为什么是“买东西”而不是“买南北”？

哎，这个问题其实我琢磨好久了。平时大家总说“买东西”，但为啥不说“买南北”呢？我查过一些说法，有的说跟古代五行有关，东属木、西属金，南北属火和水，木和金能拿手里，水火不好带；还有的说跟唐宋的“东市”“西市”有关。但我自己试着推了推，感觉这些解释都差点意思，比如要是按市场来，那为啥不叫“买东市”或“买西市”？所以想问问有没有更靠谱、更接地气的解释，最好能结合点历史或语言演变的故事，别太学术，让我一听就明白那种。谢谢啦！