Index

_

__add__() (autograd.tensor.Tensor method) __annotations__ (autograd.tensor.Add attribute) (autograd.tensor.Cast attribute) (autograd.tensor.Cat attribute) (autograd.tensor.Expand attribute) (autograd.tensor.Gather attribute) (autograd.tensor.GetItem attribute) (autograd.tensor.IAdd attribute) (autograd.tensor.Matmul attribute) (autograd.tensor.Max attribute) (autograd.tensor.Maximum attribute) (autograd.tensor.Mean attribute) (autograd.tensor.Mul attribute) (autograd.tensor.Pad attribute) (autograd.tensor.Permute attribute) (autograd.tensor.Pow attribute) (autograd.tensor.Reshape attribute) (autograd.tensor.Roll attribute) (autograd.tensor.SetItem attribute) (autograd.tensor.Sqrt attribute) (autograd.tensor.Stack attribute) (autograd.tensor.StridedWindows attribute) (autograd.tensor.Sum attribute) (autograd.tensor.Tensor attribute) (autograd.tensor.Transpose attribute) (autograd.tensor.View attribute) __dict__ (autograd.tensor.Function attribute) (autograd.tensor.Tensor attribute) __eq__() (autograd.tensor.Tensor method) __ge__() (autograd.tensor.Tensor method) __getitem__() (autograd.tensor.Tensor method) __gt__() (autograd.tensor.Tensor method) __hash__() (autograd.tensor.Tensor method) __iadd__() (autograd.tensor.Tensor method) __init__() (autograd.tensor.Function method) (autograd.tensor.Tensor method) __le__() (autograd.tensor.Tensor method) __lt__() (autograd.tensor.Tensor method) __matmul__() (autograd.tensor.Tensor method) __module__ (autograd.tensor.Add attribute) (autograd.tensor.Cast attribute) (autograd.tensor.Cat attribute) (autograd.tensor.Expand attribute) (autograd.tensor.Function attribute) (autograd.tensor.Gather attribute) (autograd.tensor.GetItem attribute) (autograd.tensor.IAdd attribute) (autograd.tensor.Matmul attribute) (autograd.tensor.Max attribute) (autograd.tensor.Maximum attribute) (autograd.tensor.Mean attribute) (autograd.tensor.Mul attribute) (autograd.tensor.Pad attribute) (autograd.tensor.Permute attribute) (autograd.tensor.Pow attribute) (autograd.tensor.Reshape attribute) (autograd.tensor.Roll attribute) (autograd.tensor.SetItem attribute) (autograd.tensor.Sqrt attribute) (autograd.tensor.Stack attribute) (autograd.tensor.StridedWindows attribute) (autograd.tensor.Sum attribute) (autograd.tensor.Tensor attribute) (autograd.tensor.Transpose attribute) (autograd.tensor.View attribute)

__mul__() (autograd.tensor.Tensor method) __neg__() (autograd.tensor.Tensor method) __pow__() (autograd.tensor.Tensor method) __radd__() (autograd.tensor.Tensor method) __repr__() (autograd.tensor.Tensor method) __rmul__() (autograd.tensor.Tensor method) __rsub__() (autograd.tensor.Tensor method) __setitem__() (autograd.tensor.Tensor method) __sub__() (autograd.tensor.Tensor method) __truediv__() (autograd.tensor.Tensor method) __weakref__ (autograd.tensor.Function attribute) (autograd.tensor.Tensor attribute) _is_training (autograd.nn.Module attribute) _modules (autograd.nn.Module attribute) _parameters (autograd.nn.Module attribute) _states (autograd.nn.Module attribute)

A

AbstractLLMForwardFn (class in autograd.nn) Adam (class in autograd.optim) Add (class in autograd.tensor) append() (autograd.nn.ModuleList method) apply() (autograd.nn.Module method) (autograd.tensor.Function class method) astype() (autograd.tensor.Tensor method) autograd module autograd.functional module autograd.init module

autograd.logger module autograd.nn module autograd.optim module autograd.tensor module autograd.text module autograd.text.tokenizer module autograd.text.utils module

B

backward() (autograd.functional.BinaryCrossEntropy method) (autograd.functional.BinaryCrossEntropyWithLogits method) (autograd.functional.CrossEntropy method) (autograd.functional.Gelu method) (autograd.functional.HingeLoss method) (autograd.functional.LogSoftmax method) (autograd.functional.MeanSquaredLoss method) (autograd.functional.Relu method) (autograd.functional.ScaledDotProductAttentionMLXCustom method) (autograd.functional.Sigmoid method) (autograd.functional.Softmax method) (autograd.functional.Tanh method) (autograd.tensor.Add method) (autograd.tensor.Cast method) (autograd.tensor.Cat method) (autograd.tensor.Expand method) (autograd.tensor.Function method) (autograd.tensor.Gather method) (autograd.tensor.GetItem method) (autograd.tensor.IAdd method) (autograd.tensor.Matmul method) (autograd.tensor.Max method) (autograd.tensor.Maximum method) (autograd.tensor.Mean method) (autograd.tensor.Mul method) (autograd.tensor.Pad method) (autograd.tensor.Permute method) (autograd.tensor.Pow method) (autograd.tensor.Reshape method) (autograd.tensor.Roll method) (autograd.tensor.SetItem method) (autograd.tensor.Sqrt method) (autograd.tensor.Stack method) (autograd.tensor.StridedWindows method) (autograd.tensor.Sum method) (autograd.tensor.Tensor method) (autograd.tensor.Transpose method) (autograd.tensor.View method)

BatchNorm (class in autograd.nn) binary_cross_entropy() (in module autograd.functional) binary_cross_entropy_with_logits() (in module autograd.functional) BinaryCrossEntropy (class in autograd.functional) BinaryCrossEntropyWithLogits (class in autograd.functional) bold_red (autograd.logger.ColorFormatter attribute) build_dropout_scale_mask() (autograd.functional.ScaledDotProductAttentionMLXCustom static method) BytePairEncoder (class in autograd.text.tokenizer)

C

Cast (class in autograd.tensor) Cat (class in autograd.tensor) cat() (autograd.tensor.Tensor static method) checkpoint() (in module autograd.tensor) clean_and_tokenize() (in module autograd.text.utils) clip_grad_norm() (autograd.optim.Optimizer method) ColorFormatter (class in autograd.logger) completion_tokens (autograd.text.utils.GenerationResult attribute)

compute_in_out_tensor_count() (in module autograd.init) Conv2d (class in autograd.nn) CosineScheduler (class in autograd.optim) create_causal_mask() (in module autograd.text.utils) create_vocabulary() (in module autograd.text.utils) cross_entropy() (in module autograd.functional) CrossEntropy (class in autograd.functional) cyan (autograd.logger.ColorFormatter attribute)

D

data (autograd.tensor.Tensor property) decode() (autograd.text.tokenizer.BytePairEncoder method)

detach() (autograd.tensor.Tensor method) Dropout (class in autograd.nn)

E

Embedding (class in autograd.nn) encode() (autograd.text.tokenizer.BytePairEncoder method) ENCODE_CHUNK_CACHE_MAX_SIZE (autograd.text.tokenizer.BytePairEncoder attribute)

eval() (autograd.nn.Module method) Expand (class in autograd.tensor) expand() (autograd.tensor.Tensor method) extract_windows() (in module autograd.nn)

F

format() (autograd.logger.ColorFormatter method) format_document_for_causal_lm() (in module autograd.text.utils) FORMATS (autograd.logger.ColorFormatter attribute) forward() (autograd.functional.BinaryCrossEntropy method) (autograd.functional.BinaryCrossEntropyWithLogits method) (autograd.functional.CrossEntropy method) (autograd.functional.Gelu method) (autograd.functional.HingeLoss method) (autograd.functional.LogSoftmax method) (autograd.functional.MeanSquaredLoss method) (autograd.functional.Relu method) (autograd.functional.ScaledDotProductAttentionMLXCustom method) (autograd.functional.Sigmoid method) (autograd.functional.Softmax method) (autograd.functional.Tanh method) (autograd.nn.BatchNorm method) (autograd.nn.Conv2d method) (autograd.nn.Dropout method) (autograd.nn.Embedding method) (autograd.nn.LayerNorm method) (autograd.nn.Linear method) (autograd.nn.LongShortTermMemoryBlock method) (autograd.nn.MaxPool2d method) (autograd.nn.Module method) (autograd.nn.MultiHeadAttention method) (autograd.nn.RecurrentBlock method) (autograd.nn.ResidualBlock method) (autograd.nn.ScaledDotProductAttention method) (autograd.tensor.Add method) (autograd.tensor.Cast method) (autograd.tensor.Cat method) (autograd.tensor.Expand method) (autograd.tensor.Function method) (autograd.tensor.Gather method) (autograd.tensor.GetItem method) (autograd.tensor.IAdd method) (autograd.tensor.Matmul method) (autograd.tensor.Max method) (autograd.tensor.Maximum method) (autograd.tensor.Mean method) (autograd.tensor.Mul method) (autograd.tensor.Pad method) (autograd.tensor.Permute method) (autograd.tensor.Pow method) (autograd.tensor.Reshape method) (autograd.tensor.Roll method) (autograd.tensor.SetItem method) (autograd.tensor.Sqrt method) (autograd.tensor.Stack method) (autograd.tensor.StridedWindows method) (autograd.tensor.Sum method) (autograd.tensor.Tensor method) (autograd.tensor.Transpose method) (autograd.tensor.View method)

Function (class in autograd.tensor)

G

Gather (class in autograd.tensor) gather() (autograd.tensor.Tensor method) Gelu (class in autograd.functional) gelu() (in module autograd.functional) generate() (in module autograd.text.utils) generate_text() (in module autograd.text.utils)

GenerationResult (class in autograd.text.utils) GetItem (class in autograd.tensor) grad (autograd.tensor.Tensor property) grad_l2_norm() (autograd.optim.Optimizer method) gradient_arrays() (autograd.optim.Optimizer method) green (autograd.logger.ColorFormatter attribute) grey (autograd.logger.ColorFormatter attribute)

H

hinge_loss() (in module autograd.functional)

HingeLoss (class in autograd.functional)

I

IAdd (class in autograd.tensor)

is_grad_enabled() (in module autograd.tensor) item() (autograd.tensor.Tensor method)

L

LayerNorm (class in autograd.nn) Linear (class in autograd.nn) load_encoded() (autograd.text.tokenizer.BytePairEncoder static method) load_openwebtext() (in module autograd.text.utils) load_shakespeare_mini() (in module autograd.text.utils) load_state_dict() (autograd.nn.Module method) (autograd.optim.Optimizer method)

load_wiki_simple() (in module autograd.text.utils) log_softmax() (in module autograd.functional) logprobs (autograd.text.utils.GenerationResult attribute) LogSoftmax (class in autograd.functional) LongShortTermMemoryBlock (class in autograd.nn) lr (autograd.optim.Optimizer property) LRScheduler (class in autograd.optim)

M

Matmul (class in autograd.tensor) Max (class in autograd.tensor) max() (autograd.tensor.Tensor method) Maximum (class in autograd.tensor) maximum() (autograd.tensor.Tensor method) MaxPool2d (class in autograd.nn) Mean (class in autograd.tensor) mean() (autograd.tensor.Tensor method) mean_squared_loss() (in module autograd.functional) MeanSquaredLoss (class in autograd.functional) module autograd autograd.functional autograd.init autograd.logger autograd.nn autograd.optim autograd.tensor autograd.text autograd.text.tokenizer autograd.text.utils

Module (class in autograd.nn) ModuleList (class in autograd.nn) Mul (class in autograd.tensor) MultiHeadAttention (class in autograd.nn)

N

n_vocab (autograd.text.tokenizer.BytePairEncoder property) ndim (autograd.tensor.Tensor property)

no_grad() (in module autograd.tensor) num_parameters() (autograd.nn.Module method) numpy() (autograd.tensor.Tensor method)

O

OpenWebTextSource (class in autograd.text.utils)

Optimizer (class in autograd.optim)

P

Pad (class in autograd.tensor) pad() (autograd.tensor.Tensor method) parameters (autograd.nn.Module property) parquet_dir (autograd.text.utils.OpenWebTextSource attribute) parquet_files (autograd.text.utils.OpenWebTextSource attribute)

parquet_shards_per_batch (autograd.text.utils.OpenWebTextSource attribute) Permute (class in autograd.tensor) permute() (autograd.tensor.Tensor method) Pow (class in autograd.tensor) prepare_data() (autograd.text.tokenizer.BytePairEncoder method) prepare_mlx_attention_mask() (in module autograd.text.utils)

R

RecurrentBlock (class in autograd.nn) red (autograd.logger.ColorFormatter attribute) Relu (class in autograd.functional) relu() (in module autograd.functional) reset (autograd.logger.ColorFormatter attribute)

Reshape (class in autograd.tensor) reshape() (autograd.tensor.Tensor method) ResidualBlock (class in autograd.nn) Roll (class in autograd.tensor) roll() (autograd.tensor.Tensor method)

S

sample() (autograd.nn.AbstractLLMForwardFn method) scale_gradients() (autograd.optim.Optimizer method) scaled_dot_product_attention_mlx_custom() (in module autograd.functional) ScaledDotProductAttention (class in autograd.nn) ScaledDotProductAttentionMLXCustom (class in autograd.functional) SetItem (class in autograd.tensor) setup_logger() (in module autograd.logger) SGD (class in autograd.optim) shape (autograd.tensor.Tensor property) Sigmoid (class in autograd.functional) sigmoid() (in module autograd.functional) Softmax (class in autograd.functional) softmax() (in module autograd.functional) SPECIAL_TOKENS (autograd.text.tokenizer.BytePairEncoder attribute) split_token (autograd.text.utils.OpenWebTextSource attribute)

Sqrt (class in autograd.tensor) sqrt() (autograd.tensor.Tensor method) Stack (class in autograd.tensor) stack() (autograd.tensor.Tensor static method) start_token (autograd.text.utils.OpenWebTextSource attribute) state_dict() (autograd.nn.Module method) (autograd.optim.Optimizer method) states (autograd.nn.Module property) step() (autograd.optim.Adam method) (autograd.optim.Optimizer method) (autograd.optim.SGD method) stop_reason (autograd.text.utils.GenerationResult attribute) strided_windows() (autograd.tensor.Tensor method) StridedWindows (class in autograd.tensor) Sum (class in autograd.tensor) sum() (autograd.tensor.Tensor method)

T

T (autograd.tensor.Tensor property) Tanh (class in autograd.functional) tanh() (in module autograd.functional) teacher_force() (in module autograd.text.utils) Tensor (class in autograd.tensor) text_to_one_hot_and_sparse() (in module autograd.text.utils)

timestep (autograd.optim.Optimizer property) token_batch_to_indices() (in module autograd.text.utils) train() (autograd.nn.AbstractLLMForwardFn method) (autograd.nn.Module method) train_vocabulary() (autograd.text.tokenizer.BytePairEncoder method) Transpose (class in autograd.tensor) transpose() (autograd.tensor.Tensor method)

U

unbroadcast() (autograd.tensor.Function static method)

update_lr() (autograd.optim.Optimizer method)

V

validate() (autograd.functional.ScaledDotProductAttentionMLXCustom static method) validate_batches() (in module autograd.text.utils)

View (class in autograd.tensor) view() (autograd.tensor.Tensor method)

W

WORD_FREQ_BATCH_SIZE (autograd.text.tokenizer.BytePairEncoder attribute)

WORD_FREQ_LOG_INTERVAL (autograd.text.tokenizer.BytePairEncoder attribute)

X

xavier_uniform() (in module autograd.init)

Y

yellow (autograd.logger.ColorFormatter attribute)

Z

zero_grad() (autograd.nn.Module method) (autograd.optim.Optimizer method)