传说有一年清明节，太平天国李秀成得力大将陈太平被清兵追捕，附近耕田的一位农民上前帮忙将陈太平化装成农民模样，和自己一起耕地。没有抓到陈太平，清兵并未善罢甘休，于是在村里添兵设岗，每一个出村人都要接受检查，防止他们给陈太平带吃的东西。
回家后，那们农民在思索带什么东西给陈太平吃时，一脚踩在一丛艾草上，滑了一跤，爬起来时只见手上、膝盖上都染上绿蒙莹莹的颜色，他顿时计上心头，连忙采了些艾草回家少洗净煮烂辩挤汁，揉进糯米粉内，做成一只只米团子。然后把表溜溜的团子放在青菜里，混过村口的哨兵。陈太平吃了青团，觉得又香又糯且为粘牙。天黑后，他绕过清兵哨卡安全返回太本营。后来，李秀成下令太平兵都要学会做青团以御敌自保。清明节吃青团的习俗从此流伟开来。
上海人在清明前后有吃青团的食俗,这种风俗可追溯到两千多年前的周朝。据《周礼》记载，当时有“仲春以木铎循火禁于国中”的法规，于是百姓熄炊，“寒食三日”。在寒食期间，即渭明前一、二日，还特定为”寒日节”。
古代寒食节的传统食品有糯米酪、麦酪、杏仁酪扬，这些食品都可事前制就，供寒日节充饥，不必举火为炊。
在寒日节的传统食品中还有一种“青精饭”，据《琐碎录》记载：“蜀入遇寒食日，采阳桐叶，细冬青染饭，色青而有光。”明代《七修类槁》也说：“古人寒食采杨桐叶，染饭青色以祭，资阳气也，今变而为青白团子，乃此义也”。清代《清嘉录》对青团有更明确的解释：“市上卖青团熟藕，为祀先之品，皆可冷食”。
现在，青团有的是采用青艾，有的以雀麦草汁和糯米粉捣制再以豆沙为馅而成，流传百余年，仍旧一只老面孔。人们用它扫墓祭祖，但更多的是应令尝新，青团作为祭祀的功能日益淡化。因此，一些卖青团的店家洞察到这以点，前些年曾出现过多种甜咸馅料的青团，如猪油玫瑰青团、黑洋酥青团、金针耳鲜肉青团等，但好景不长，这些原本受人青睐的青团，竟然无疾而终，实在让人百思不解。