Update README.md

README.md

@@ -97,23 +97,23 @@ Use the code below to get started with the model.
 ```python
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
+
 torch.manual_seed(42)
 
-PROMPT_TEMPLATE = '''instruction: |
-  ### Задание для оценки:
-  {instruction}
-reference_answer: |
-  ### Эталонный ответ:
-  {reference_answer}
-response: |
-  ### Ответ для оценки:
-  {answer}
-score_name: |
-  ### Критерий оценки:
-  {criteria_name}
-score_rubrics: |
-  ### Шкала оценивания по критерию:
-  {criteria_rubrics}
+PROMPT_TEMPLATE = '''### Задание для оценки:
+{instruction}
+
+### Эталонный ответ:
+{reference_answer}
+
+### Ответ для оценки:
+{answer}
+
+### Критерий оценки:
+{criteria_name}
+
+### Шкала оценивания по критерию:
+{criteria_rubrics}
 '''
 
 instruction = 'Сколько будет 2+2?'
@@ -121,7 +121,9 @@ reference_answer = ''
 answer = 'Будет 4'
 criteria_name = 'Правильность ответа'
 criteria_rubrics = '''0: Дан неправильный ответ или ответ отсутствует.
+
 1: Ответ модели неполный (не на все вопросы задания получен ответ, в формулировке ответа отсутствует часть информации).
+
 2: Ответ модели совпадает с эталонным или эквивалентен ему.'''
 
 prompt = PROMPT_TEMPLATE.format(instruction=instruction,
@@ -135,7 +137,8 @@ tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_PATH,
     torch_dtype="auto",
-    device_map="auto"
+    device_map="auto",
+    trust_remote_code=True
 )
 
 messages = [
@@ -147,14 +150,17 @@ text = tokenizer.apply_chat_template(
     add_generation_prompt=True
 )
 model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
-generated_ids = model.generate(
+
+sequence_ids = model.generate(
     **model_inputs,
     max_new_tokens=4096
 )
 generated_ids = [
-    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, sequence_ids)
 ]
+
 response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+
 print(response)
 ```