“绿帽子”的称呼是怎么来的？

最近跟朋友聊天，突然聊到“绿帽子”这个词，大家都觉得挺有意思的——为什么偏偏是绿色，而不是红帽子、蓝帽子，用来指代伴侣出轨呢？我上网查了一下，有人说跟古代服饰制度有关，比如唐代戴绿头巾是低贱身份的标志，后来慢慢演变成妻子不忠的象征；也有人说跟元明时期的娼妓家属戴绿巾有关。但我感觉这些说法都挺零碎的，没看到一个特别清晰、靠谱的来龙去脉。所以想求教懂历史或者民俗的朋友，能系统地讲讲“绿帽子”这个称呼到底是怎么来的？最好能说清楚从哪个朝代开始、因为什么具体事件或制度，才让绿色和这事儿绑在一起的。先谢过啦！