Upload folder using huggingface_hub

README.md

@@ -0,0 +1,54 @@
+**该模型当前使用的是默认介绍模版，请参考以下模板，及时完善模型介绍相关内容：**
+
+
+## <模型名字>介绍
+
+介绍模型的基本信息。
+
+## 模型描述
+
+提供模型描述，包括模型结构，使用的训练数据集，以及适用场景等等内容。
+
+## 期望模型使用方式以及适用范围
+
+介绍模型的目标使用场景。
+
+### 如何使用
+
+介绍模型如何使用，包括如何进行模型推理等等信息。在这里希望模型提供者能提供详尽的范例以及代码片段来介绍模型的使用方法。对于需要配置负责运行环境的模型，也可以在这里提供怎样配置模型运行环境的详细介绍。
+
+如果模型支持finetune功能的话，在本章节也应该提供如果准备finetune可能需要的数据集格式。
+
+### 代码范例
+
+代码块
+`<!--- 本session里的python代码段，将被用于快速体验--->`
+
+### 模型局限性以及可能的偏差
+介绍模型适用的场景，以及在哪些场景可能存在局限性，以及模型在构造训练过程中，本身可能带有的，由于训练数据以及训练方法等因素引入的偏向性。
+
+
+### 训练数据介绍
+
+训练数据是如何获取，组织，以及针对模型的需求进行格式话的。
+
+
+### 模型训练流程
+
+描述模型是如何具体训练出来的。建议提供代码示例：
+`<!--- 本session里的python代码段，将被用于快速体验--->`
+
+
+### 预处理
+
+### 训练
+代码块
+`<!--- 本session里的python代码段，将被用于快速体验--->`
+
+### 数据评估及结果
+
+提供模型在不同数据集上的性能评测，包括评测数据是如何获得的。评测结果本身可以通过表格，图像等多种方法做展示。
+
+## 相关论文以及引用信息
+
+如果本模型有相关论文发表，或者是基于某些论文的结果，可以在这里,提供Bibtex格式的参考文献。

config.json

@@ -1,17 +1,33 @@
 {
+  "alibi": false,
   "architectures": [
     "LlamaForCausalLM"
   ],
-  "hidden_size": 768,
+  "bos_token_id": 1,
+  "dpo_config": null,
+  "eos_token_id": 2,
+  "hidden_size": 192,
+  "immediate_clear_past_key_value": false,
   "initializer_range": 0.02,
   "intermediate_size": 11008,
+  "long_sequence_init_args": {},
+  "long_sequence_strategy_name": null,
+  "long_sequence_strategy_type": null,
   "max_position_embeddings": 2048,
   "model_type": "llama",
   "num_attention_heads": 8,
   "num_hidden_layers": 2,
+  "num_key_value_heads": 8,
+  "pad_token_id": 0,
+  "paddleformers_version": "0.1.2.post20250821",
   "rms_norm_eps": 1e-06,
-  "vocab_size": 32000,
-  "bos_token_id": 1,
-  "eos_token_id": 2,
-  "pad_token_id": 0
-}
+  "rope_scaling_factor": 1.0,
+  "rope_scaling_type": null,
+  "rope_theta": 10000.0,
+  "seq_length": 2048,
+  "tie_word_embeddings": false,
+  "use_flash_attention_for_generation": false,
+  "use_last_token_for_generation": false,
+  "use_long_sequence_strategies": false,
+  "vocab_size": 32000
+}

model_state.pdparams

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:959d6782994b267c79436ddcde07f7a3d6d7e4d73b17988fce9ffc9eac26bc24
-size 209208577
+oid sha256:e75691248578c5ec1740115fbffa06598d76f386d4ad76d847d56e4ef3e74524
+size 76486394

tokenizer.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9e556afd44213b6bd1be2b850ebbbd98f5481437a8021afaf58ee7fb1818d347
+size 499723

tokenizer_config.json

@@ -1 +1 @@
-{"unk_token": "<unk>", "bos_token": "<s>", "eos_token": "</s>", "add_bos_token": true, "add_eos_token": false, "sp_model_kwargs": null, "decode_with_prefix_space": false, "name_or_path": "__internal_testing__/tiny-random-llama", "from_slow": true, "_from_auto": true, "tokenizer_file": "/root/.paddleformers/models/__internal_testing__/tiny-random-llama/tokenizer.json", "added_tokens_decoder": {}, "tokenizer_class": "LlamaTokenizer"}
+{"unk_token": "<unk>", "bos_token": "<s>", "eos_token": "</s>", "add_bos_token": true, "add_eos_token": false, "sp_model_kwargs": null, "decode_with_prefix_space": false, "name_or_path": "test_paddleformers/tiny-random-llama", "from_slow": true, "_from_auto": true, "tokenizer_file": "/root/.paddleformers/models/__internal_testing__/tiny-random-llama/tokenizer.json", "added_tokens_decoder": {}, "tokenizer_class": "LlamaTokenizer"}