7 个 ESP32-S3 组成集群运行 1.58-bit（BitNet）0.5B 语言模型

一个分布式流水线推理引擎在 7 个 ESP32-S3 组成的集群上运行切分后的 0.5B 1.58-bit（BitNet）语言模型。1 个主节点运行 BPE tokenizer 与 INT4 embedding，6 个计算节点各承载 4 个 Transformer 层，节点间通过高速 SPI 菊花链传输 FP32 hidden state。