Eric Curtin dc7cef9f37 llama-run : fix context size (#11094) ...

Set `n_ctx` equal to `n_batch` in `Opt` class. Now context size is
a more reasonable 2048.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

2025-01-06 23:45:28 +01:00

..

batched

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

batched-bench

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

batched.swift

…

convert-llama2c-to-ggml

llama : use LLAMA_TOKEN_NULL (#11062)

2025-01-06 10:52:15 +02:00

cvector-generator

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

deprecation-warning

…

embedding

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

eval-callback

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

export-lora

…

gbnf-validator

…

gen-docs

…

gguf

…

gguf-hash

…

gguf-split

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

gritlm

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

imatrix

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

infill

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

jeopardy

…

llama-bench

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

llama.android

android : fix llama_batch free (#11014)

2024-12-30 14:35:13 +02:00

llama.swiftui

…

llava

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

lookahead

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

lookup

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

main

llama : use LLAMA_TOKEN_NULL (#11062)

2025-01-06 10:52:15 +02:00

main-cmake-pkg

…

parallel

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

passkey

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

perplexity

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

quantize

…

quantize-stats

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

retrieval

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

rpc

…

run

llama-run : fix context size (#11094)

2025-01-06 23:45:28 +01:00

save-load-state

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

server

server : fix extra BOS in infill endpoint (#11106)

2025-01-06 15:36:08 +02:00

simple

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

simple-chat

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

speculative

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

speculative-simple

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

sycl

…

tokenize

llama : update llama_model API names (#11063)

2025-01-06 10:55:18 +02:00

tts

llama : refactor src/llama.cpp (#10902)

2025-01-03 10:18:53 +02:00

chat-13B.bat

…

chat-13B.sh

…

chat-persistent.sh

…

chat-vicuna.sh

…

chat.sh

…

CMakeLists.txt

…

convert_legacy_llama.py

…

json_schema_pydantic_example.py

…

json_schema_to_grammar.py

…

llama.vim

…

llm.vim

…

Miku.sh

…

pydantic_models_to_grammar_examples.py

…

pydantic_models_to_grammar.py

…

reason-act.sh

…

regex_to_grammar.py

…

server_embd.py

…

server-llama2-13B.sh

…

ts-type-to-grammar.sh

…