（+微:hywyysxs）
这种稀疏激活💚的设计，☠让模型在保持💧巨大容量🍃的同时，大幅降🇲🇽低了计算⚗开销🕥。它实际上是在一点😾点拆开“百🙏万上下文”这件事🎵🤢的底座📦👨🎓。与 O⛽👨🏫pen🌿AI 🙇👩👩👦👦和 xAI 等公🌫🐳司正在建设或扩建👠其庞大的数据中🧝♂️❕心不同，🇬🇮⏺Anthropi❌🎫c 选择从多🧓🚼家供应🍩商租赁容量，💺🚬并通过多元化的❤芯片供应来🐍🌷获得议价能力🇮🇸。
但这不妨碍🕐两家公📚司的合作🈶🦋。整个控制器加🥍上来的🥰🦝参数量很少，相🗨对于整个🐳大模型而言微🇷🇪🇹🇯乎其微，不会显著🦘👔增加模👨💼👩👦型的计🎦🐃算量和内存🌀👩⚕️占用🇧🇴。但这个目🛡标目前🉐还没有实♾️现🇵🇫✝。不用的专🇳🇮🗡家在这个块的前向📣和后向传播过程🦍⁉中可以暂时卸载，🍯🇲🇩减少峰值💘显存占用🤡。
