PEFT method comparison
Find more information on the PEFT GitHub repo
Choose the task and base model
Select Task
Select Model ID
Results
fourierft/llama-3.2-3B-n_frequency-5000 | ADAPTION_PROMPT | 11114 | 2341 | 0.050037907505686124 | 0.6569721374511719 | 23886561280 | 19247870771 | 13446820344 | 2211281240 | 2025-06-19 16:12:05+00:00 | MetaMathQA | meta-llama/Llama-3.2-3B | {'model_id': 'meta-llama/Llama-3.2-3B', 'dtype': 'bfloat16', 'max_seq_length': 768, 'batch_size': 4, 'batch_size_eval': 50, 'max_steps': 5000, 'eval_steps': 250, 'compile': False, 'query_template': 'Question: {query} Think step by step.\nAnswer:', 'seed': 0, 'grad_norm_clip': 1.0, 'optimizer_type': 'lora-fa', 'optimizer_kwargs': {'r': 32, 'lora_alpha': 64, 'lr': 0.0001, 'weight_decay': 0.1}, 'lr_scheduler': 'cosine', 'use_amp': False, 'autocast_adapter_dtype': True, 'generation_kwargs': {'max_length': 800, 'max_new_tokens': 300}, 'attn_implementation': None} | {'task_type': None, 'peft_type': 'ADALORA', 'auto_mapping': None, 'base_model_name_or_path': 'meta-llama/Llama-3.2-3B', 'revision': None, 'inference_mode': False, 'r': 8, 'target_modules': ['q_proj', 'v_proj'], 'exclude_modules': None, 'lora_alpha': 8, 'lora_dropout': 0.0, 'fan_in_fan_out': False, 'bias': 'none', 'use_rslora': False, 'modules_to_save': None, 'init_lora_weights': True, 'layers_to_transform': None, 'layers_pattern': None, 'rank_pattern': {'model.layers.0.self_attn.q_proj.lora_E': [False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False], 'model.layers.0.self_attn.v_proj.lora_E': [True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, False, True, True, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, True, True, True, True, True, True], 'model.layers.1.self_attn.q_proj.lora_E': [False, False, True, True, False, True, True, False, False, False, False, True, False, False, True, True, True, True, False, False, False, False, False, False, True, False, True, True, False, False, True, True, True, False, True, True, False, False, True, True, True, False, False, False, True, False, True, True, True, True, False, True, True, True, False, False, True, True, False, False, True, True, False, False], 'model.layers.1.self_attn.v_proj.lora_E': [True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True], 'model.layers.2.self_attn.q_proj.lora_E': [True, False, True, False, False, False, True, True, True, True, False, True, True, True, False, False, True, False, False, True, False, False, False, False, True, True, False, False, False, False, True, False, False, False, False, False, False, True, True, True, False, False, False, True, True, False, False, False, True, False, True, True, False, True, False, False, False, True, True, False, True, True, False, False], 'model.layers.2.self_attn.v_proj.lora_E': [True, False, False, False, True, True, True, True, False, True, True, True, False, True, False, True, False, True, False, True, False, True, True, True, True, True, False, True, False, False, False, False, True, False, False, False, False, False, True, True, False, False, True, True, False, True, True, True, True, False, False, True, False, True, False, False, False, True, True, False, False, False, True, True], 'model.layers.3.self_attn.q_proj.lora_E': [False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False], 'model.layers.3.self_attn.v_proj.lora_E': [False, False, False, False, False, True, False, True, False, False, False, False, True, False, False, False, False, True, True, True, True, False, True, False, False, False, False, False, False, False, False, False, True, False, False, True, False, False, True, False, True, False, True, True, False, True, False, False, True, False, False, False, False, False, True, False, True, False, False, False, False, True, True, True], 'model.layers.4.self_attn.q_proj.lora_E': [False, False, False, False, False, True, False, False, True, True, False, True, False, False, False, False, False, False, False, True, False, False, True, False, True, False, False, False, False, False, True, False, False, False, False, False, False, False, True, True, False, False, True, False, False, False, True, True, False, False, False, False, False, False, False, False, False, False, False, False, True, True, False, False], 'model.layers.4.self_attn.v_proj.lora_E': [True, False, True, True, False, False, True, False, False, False, True, False, True, True, False, True, False, True, True, False, True, True, False, False, True, True, True, True, False, False, False, False, False, False, True, False, True, False, False, True, True, True, True, True, False, False, False, False, False, True, False, True, True, True, True, True, False, True, True, False, True, True, True, True], 'model.layers.5.self_attn.q_proj.lora_E': [False, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False], 'model.layers.5.self_attn.v_proj.lora_E': [True, True, True, True, True, True, True, True, False, True, False, False, True, False, False, True, False, True, False, False, False, False, True, True, False, False, False, False, True, False, True, False, True, True, False, False, True, True, True, True, False, False, True, False, True, False, False, True, True, True, False, True, False, False, False, True, True, True, True, False, False, False, True, True], 'model.layers.6.self_attn.q_proj.lora_E': [False, False, True, True, False, False, True, True, False, False, False, True, False, True, False, True, False, False, False, False, True, True, True, True, False, True, False, True, False, True, False, False, False, True, True, False, False, False, False, True, True, True, False, False, True, False, False, False, False, True, True, False, False, False, True, False, False, False, False, False, False, False, False, False], 'model.layers.6.self_attn.v_proj.lora_E': [False, True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, False, True, True, True, False, False, False, False, True, True, False, False, False, False, True, True, False, True, True, True, False, True, True, True, False, True, True, True, True, False, False, False, True, True, False, False, True, False, True, False, True, True, False, True, False, True, False, True], 'model.layers.7.self_attn.q_proj.lora_E': [False, False, False, False, False, True, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False], 'model.layers.7.self_attn.v_proj.lora_E': [False, False, True, True, False, True, True, True, True, False, True, True, True, True, True, True, True, True, True, True, False, False, True, True, True, True, True, False, True, False, False, True, True, True, True, False, False, False, True, False, False, True, True, True, False, True, True, True, True, True, True, False, True, True, True, True, True, False, False, False, True, True, True, True], 'model.layers.8.self_attn.q_proj.lora_E': [False, True, False, False, False, False, False, True, False, False, False, False, True, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, True, False, False, True, False, False, False, False, True, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, True], 'model.layers.8.self_attn.v_proj.lora_E': [False, True, False, False, False, True, False, False, False, False, True, True, True, True, True, False, False, True, True, True, False, True, True, True, True, True, False, True, True, False, False, True, True, False, False, True, False, True, False, True, True, False, True, False, True, True, True, False, True, False, False, True, True, True, False, True, True, True, True, False, False, False, False, True], 'model.layers.9.self_attn.q_proj.lora_E': [True, False, True, True, False, False, True, True, False, False, True, False, False, False, False, True, False, True, False, True, False, False, False, True, False, True, False, True, False, True, False, True, True, False, False, True, True, False, False, False, False, True, True, True, False, False, False, False, True, True, True, False, False, False, False, False, True, False, True, False, False, True, False, True], 'model.layers.9.self_attn.v_proj.lora_E': [True, True, False, True, True, True, True, True, True, False, True, True, True, True, True, False, True, True, True, True, True, True, True, True, False, True, True, True, True, True, True, True, False, True, True, False, True, True, True, True, True, True, False, False, True, False, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, False], 'model.layers.10.self_attn.q_proj.lora_E': [False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False], 'model.layers.10.self_attn.v_proj.lora_E': [True, True, False, False, False, True, True, False, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, False, False, False, True, True, True, True, False, False, False, False, True, False, False, False, True, True, True, False, True, True, False, True, False, False, True, True, False, False, True, True, True, True, True, True, True, False, True], 'model.layers.11.self_attn.q_proj.lora_E': [True, False, False, False, False, True, False, False, False, True, True, False, True, False, False, False, False, False, False, False, False, True, False, False, True, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, True, True, True, False, True, False, False, False, True, True, False, False, False, False, True, True, False, True, False, True, True, False, False, False], 'model.layers.11.self_attn.v_proj.lora_E': [False, True, True, True, False, True, True, False, True, False, True, True, True, True, True, True, True, False, False, True, False, True, True, True, True, False, False, True, True, True, True, False, True, True, True, True, True, True, True, True, True, False, False, False, False, False, True, False, False, True, True, False, False, True, True, True, True, True, False, True, True, True, False, False], 'model.layers.12.self_attn.q_proj.lora_E': [False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, True, False, False, False, False, False, True, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, True, True, False, True, False, False, False, False, True, False, True, False, False, True, False, True, False, False, True, False, False, False, False, False, False, False, False], 'model.layers.12.self_attn.v_proj.lora_E': [True, True, True, True, False, True, True, False, True, True, True, True, True, True, True, True, True, False, False, False, False, True, True, False, False, True, True, True, True, True, True, True, True, True, True, False, False, True, False, True, True, True, True, True, False, False, True, False, True, True, True, True, False, True, False, True, False, True, False, True, False, True, True, False], 'model.layers.13.self_attn.q_proj.lora_E': [True, True, False, True, True, True, False, False, True, True, False, True, False, True, False, True, False, False, True, True, False, True, False, True, True, True, True, False, False, True, True, False, False, True, False, True, False, True, True, True, False, False, False, False, True, True, True, True, False, True, False, True, True, True, False, True, False, True, True, False, False, False, True, False], 'model.layers.13.self_attn.v_proj.lora_E': [True, False, True, True, True, False, True, True, True, False, True, True, True, False, True, False, True, False, True, True, True, True, True, True, True, True, True, False, True, True, False, False, True, True, False, False, True, False, False, True, False, False, True, True, True, True, True, True, True, False, True, False, False, True, True, True, False, True, True, False, True, True, True, True], 'model.layers.14.self_attn.q_proj.lora_E': [False, True, False, True, True, False, False, False, True, False, False, True, False, False, True, True, False, True, True, True, False, False, False, True, False, True, False, True, False, False, True, True, True, True, True, False, False, True, True, False, True, True, False, False, True, False, False, False, True, False, True, True, True, False, True, True, True, False, False, True, False, True, True, False], 'model.layers.14.self_attn.v_proj.lora_E': [True, True, True, False, False, False, True, False, False, False, False, True, True, False, False, True, False, True, True, True, False, True, False, False, True, False, True, False, True, True, False, True, False, True, False, False, True, False, False, True, False, True, True, False, True, False, True, False, True, True, True, True, True, True, False, False, True, True, False, True, True, True, True, False], 'model.layers.15.self_attn.q_proj.lora_E': [False, True, True, True, True, True, False, True, False, True, False, True, False, True, True, True, True, True, True, False, True, True, False, True, False, True, False, True, True, True, False, True, False, False, False, True, True, True, True, False, True, True, False, True, False, True, False, False, True, True, False, True, False, True, False, True, True, True, True, True, False, True, True, True], 'model.layers.15.self_attn.v_proj.lora_E': [True, True, True, True, False, True, True, True, True, False, True, True, False, True, True, False, False, True, False, True, True, True, True, True, False, True, True, True, True, True, False, False, False, True, True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, False, True, True, True, True, False, False, False, True, True, True, True, True, True, True], 'model.layers.16.self_attn.q_proj.lora_E': [False, False, False, False, False, False, False, True, True, True, True, False, True, False, True, True, True, False, True, False, True, True, True, False, False, False, True, False, False, False, True, False, True, True, True, True, False, True, True, False, True, True, False, True, True, True, True, False, True, True, False, True, True, False, True, False, False, True, True, True, False, False, True, True], 'model.layers.16.self_attn.v_proj.lora_E': [True, False, True, False, True, False, True, False, False, True, False, True, True, True, True, True, True, False, True, False, True, True, True, False, True, True, False, False, False, True, True, True, False, True, False, False, True, False, False, False, True, False, True, False, True, True, True, False, True, True, False, False, True, True, True, False, True, True, False, True, False, True, False, False], 'model.layers.17.self_attn.q_proj.lora_E': [True, True, True, True, False, True, False, True, False, False, True, True, True, False, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, False, True, True, False, True, True, True, True, False, True, True, False, True, True, True, False, True, False, True, True, True, True, False, True, True, True, True, True, True, True, True], 'model.layers.17.self_attn.v_proj.lora_E': [False, True, True, True, True, True, True, True, True, True, False, True, True, False, False, False, True, True, False, True, True, False, False, True, True, False, False, False, False, True, True, True, False, True, False, True, False, True, True, True, True, False, True, True, True, True, True, True, False, True, True, True, True, True, True, True, True, True, False, False, True, True, True, True], 'model.layers.18.self_attn.q_proj.lora_E': [False, True, False, True, False, True, False, True, True, True, False, True, True, True, False, True, True, False, True, False, False, False, True, True, False, True, True, True, False, True, True, True, True, True, True, False, True, True, True, True, True, True, False, False, True, True, True, True, True, False, True, False, False, False, False, True, False, False, True, False, True, False, True, True], 'model.layers.18.self_attn.v_proj.lora_E': [True, True, True, True, True, True, True, True, False, True, True, False, False, False, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, True, False, True, True, True, True, True, True, True, True, False, True, True, False, True, True, True, True, True, True, True, True, False, True, True, True, True, True, True, False, False, True], 'model.layers.19.self_attn.q_proj.lora_E': [False, True, False, True, False, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, True, True, True, True, False, False, True, True, True, True, False, True, False, True, False, True, False, False, False, True, True, True, True, True, False, False, False, False, True, True, True, True, True, True, False, False, True, True, False, True, True], 'model.layers.19.self_attn.v_proj.lora_E': [False, True, False, True, True, True, False, True, False, False, False, False, True, True, True, False, True, False, False, False, False, True, False, True, True, False, True, True, False, False, True, True, True, True, False, False, False, False, False, True, False, False, True, False, False, False, True, True, False, False, False, True, True, True, True, False, True, True, False, True, False, True, True, True], 'model.layers.20.self_attn.q_proj.lora_E': [False, True, False, False, False, False, True, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, True, False, True, True, False, False, False, False, True, False, True, False, True, False, False, False, False, True, True, False, False, True, True, False, False, False, False, False, True, False, False], 'model.layers.20.self_attn.v_proj.lora_E': [True, False, True, True, False, False, False, True, True, False, False, True, True, True, False, True, False, True, False, False, False, False, True, False, False, False, True, False, True, False, True, True, True, False, True, False, True, False, True, False, True, True, True, True, False, False, False, False, False, False, False, False, True, False, False, False, True, False, False, True, False, False, True, True], 'model.layers.21.self_attn.q_proj.lora_E': [False, False, True, False, True, True, True, True, True, False, True, True, True, True, True, True, False, False, False, False, True, True, False, True, True, True, True, False, False, False, False, False, False, False, True, True, True, False, True, False, True, False, True, False, False, False, True, False, True, True, True, True, True, False, False, True, True, False, True, True, False, False, True, True], 'model.layers.21.self_attn.v_proj.lora_E': [True, True, True, True, True, False, True, True, False, True, True, False, False, True, True, False, True, True, False, True, True, True, True, False, False, False, False, False, True, True, True, False, True, True, False, True, True, False, True, True, False, False, False, True, True, False, False, False, True, True, False, True, True, False, False, False, False, True, False, False, False, False, False, False], 'model.layers.22.self_attn.q_proj.lora_E': [False, True, False, True, True, False, True, False, False, True, False, False, False, False, False, False, True, False, True, True, False, False, False, False, True, True, True, False, False, True, False, False, False, False, False, True, False, False, False, False, True, False, False, False, True, False, True, False, False, False, True, False, True, True, True, False, False, True, False, False, True, True, False, True], 'model.layers.22.self_attn.v_proj.lora_E': [False, True, True, True, True, False, False, True, True, True, True, False, True, True, False, True, True, True, True, True, True, True, True, True, False, False, True, True, False, True, False, False, True, False, False, False, False, True, False, False, False, True, True, False, False, False, True, True, False, False, True, True, True, True, True, True, True, True, False, False, True, False, True, True], 'model.layers.23.self_attn.q_proj.lora_E': [True, False, True, False, True, True, True, True, True, False, True, True, True, True, True, True, True, True, False, False, True, True, True, True, True, False, True, True, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, False, True, False, True, False, True, True, True, True, True, True, True, False, True, False, True, True, True, False, True, True], 'model.layers.23.self_attn.v_proj.lora_E': [False, True, False, True, False, False, True, False, True, False, True, True, True, True, True, True, False, True, True, True, True, True, True, True, True, True, True, True, True, False, False, True, False, True, True, False, True, False, True, True, True, True, True, True, True, True, True, True, True, True, False, True, True, True, False, False, False, True, True, False, True, False, True, True], 'model.layers.24.self_attn.q_proj.lora_E': [True, True, True, True, True, True, False, True, True, True, True, False, True, True, True, False, True, True, True, True, True, True, False, False, True, True, True, True, False, True, True, True, True, True, True, True, True, True, False, True, True, True, False, True, True, True, True, False, True, False, True, True, True, True, False, False, False, True, True, True, True, False, False, True], 'model.layers.24.self_attn.v_proj.lora_E': [True, True, True, False, True, False, False, True, True, True, False, True, True, False, False, True, False, False, False, False, True, True, True, False, True, False, False, True, False, True, False, True, True, False, True, True, False, False, False, True, False, False, True, True, False, True, True, False, False, True, True, True, True, False, False, True, True, True, False, True, False, True, True, True], 'model.layers.25.self_attn.q_proj.lora_E': [False, False, False, False, True, True, False, True, True, False, False, False, False, False, False, False, True, False, False, True, False, False, True, False, False, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, True, False, False, False, True, True, True, False, False, False, False, False, False, False], 'model.layers.25.self_attn.v_proj.lora_E': [False, False, False, True, False, False, False, True, True, False, False, True, False, True, True, True, False, False, False, False, True, False, False, False, True, True, True, True, False, False, False, False, True, False, False, False, False, True, False, True, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, False, False], 'model.layers.26.self_attn.q_proj.lora_E': [True, False, False, True, False, False, False, False, False, False, True, False, True, False, True, True, True, False, False, True, True, True, False, False, True, True, False, False, True, False, True, True, False, False, False, True, True, False, False, False, True, False, False, False, True, True, False, False, True, False, True, True, False, True, False, False, True, True, True, False, True, True, True, True], 'model.layers.26.self_attn.v_proj.lora_E': [False, False, True, False, True, False, False, False, True, False, False, False, False, False, True, False, False, False, False, False, False, False, True, False, False, True, False, True, False, True, True, False, False, False, False, False, False, False, False, False, True, False, False, False, False, False, False, False, True, True, False, False, False, True, False, True, False, True, False, False, False, True, False, False], 'model.layers.27.self_attn.q_proj.lora_E': [True, False, False, True, True, False, False, True, True, False, False, False, True, True, False, True, False, False, True, False, False, True, True, True, True, False, False, True, True, False, False, False, False, True, True, True, False, True, False, False, False, True, False, True, True, True, False, False, False, True, True, True, True, True, False, False, False, False, True, False, False, False, True, False], 'model.layers.27.self_attn.v_proj.lora_E': [False, False, True, True, True, True, True, True, True, False, False, False, True, False, False, False, True, True, False, False, False, True, False, True, True, True, True, True, False, True, True, False, True, False, True, True, False, True, True, False, False, True, False, True, True, False, False, True, False, True, True, True, False, False, True, False, False, True, True, True, True, True, False, True]}, 'alpha_pattern': {}, 'megatron_config': None, 'megatron_core': 'megatron.core', 'trainable_token_indices': None, 'loftq_config': {}, 'eva_config': None, 'corda_config': None, 'use_dora': False, 'layer_replication': None, 'lora_bias': False, 'target_r': 32, 'init_r': 64, 'tinit': 200, 'tfinal': 500, 'deltaT': 1, 'beta1': 0.85, 'beta2': 0.85, 'orth_reg_weight': 0.5, 'total_step': 5000} | 20000 | 4198051 | 0.15.2.dev0 | main | 4.52.4 | 3.6.0 | 2.7.1+cu126 | 0.46.0 | {'transformers-version': '4.52.4', 'transformers-commit-hash': None, 'peft-version': '0.15.2.dev0', 'peft-commit-hash': '5fe7f8f8abe914d313fc3751f2ea92de7718fbaf', 'datasets-version': '3.6.0', 'datasets-commit-hash': None, 'bitsandbytes-version': '0.46.0', 'bitsandbytes-commit-hash': None, 'torch-version': '2.7.1+cu126', 'torch-commit-hash': None} | {'system': 'Linux', 'release': '6.8.0-1029-aws', 'version': '#31-Ubuntu SMP Wed Apr 23 18:42:41 UTC 2025', 'machine': 'x86_64', 'processor': 'x86_64', 'accelerator': 'NVIDIA L40S'} |
Pareto plot
Select 2 criteria to plot the Pareto frontier. This will show the best PEFT methods along this axis and the trade-offs with the other axis. The PEFT methods that Pareto-dominate are shown in colors. All other methods are inferior with regard to these two metrics. Hover over a point to show details.
1st metric for Pareto plot
2nd metric for Pareto plot