from vllm import LLM, SamplingParams

# プロンプトのリスト
prompts = [
    "日本の首都はどこですか？",
    "大規模言語モデルについて3文で説明してください",
]

# LLMモデルのロード
llm = LLM(model=" llm-jp/llm-jp-3.1-1.8b-instruct”) #指定したモデルをロードします（Hugging Faceのモデル名）．初回は重みの取得と最適化が実行されます．

# サンプリングパラメータの設定
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=128)

# テキスト生成の実行
outputs = llm.generate(prompts, sampling_params) # テキストを生成する

# 結果の表示
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"プロンプト: {prompt!r}")
    print(f"生成結果: {generated_text!r}\n")
