Codesign真是妙不可言啊 Dynamic sparse attention的主要问题就是如果用flashattention style的kernel写法，那么对于每个query block，需要load每个token激活的key/value block的并集，在最坏条件下是会degrade到full attention的。

麦肯锡咨询公司（McKinsey）与Business of Fashion网站在2024年底进行的一项研究显示，多达30%的网购时尚单品会被退回，其主要原因是“消费者会购买多个尺码或款式，然后退回大部分商品”。