《科创板日报》30日讯，Meta日前发布全新模型架构Megabyte，这是一种多尺度解码器架构，可对超过一百万字节的序列进行端到端可微分建模，并可跨多种格式生成超过100万个token。Meta团队声称，Megabyte能解决Transformer硬伤，速度还能提高40%。