Fitting Models and Controlling Complexity: Gradient Descent and Regularization

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22Fitting%20Models%20and%20Controlling%20Complexity%3A%20Gradient%20Descent%20and%20Regularization%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20matplotlib.rcParams.update(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22figure.facecolor%22%3A%20%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.facecolor%22%3A%20%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.edgecolor%22%3A%20%22%23667788%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.labelcolor%22%3A%20%22%232F3441%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22xtick.color%22%3A%20%22%23445160%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ytick.color%22%3A%20%22%23445160%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22text.color%22%3A%20%22%232F3441%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.grid%22%3A%20True%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grid.alpha%22%3A%200.22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grid.color%22%3A%20%22%23D3DCE4%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22font.family%22%3A%20%22sans-serif%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22font.sans-serif%22%3A%20%5B%22Segoe%20UI%22%2C%20%22Trebuchet%20MS%22%2C%20%22DejaVu%20Sans%22%2C%20%22Arial%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22font.size%22%3A%2010.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22figure.dpi%22%3A%20110%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.spines.top%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.spines.right%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22legend.frameon%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20theme()%3A%0A%20%20%20%20train_color%20%3D%20%22%232A6F97%22%0A%20%20%20%20valid_color%20%3D%20%22%23C9791B%22%0A%20%20%20%20chosen_color%20%3D%20%22%233F7D52%22%0A%20%20%20%20lasso_color%20%3D%20%22%23B75A3C%22%0A%20%20%20%20data_color%20%3D%20%22%236B7280%22%0A%20%20%20%20path_color%20%3D%20%22%23A65E46%22%0A%20%20%20%20mse_color%20%3D%20%22%234C6F91%22%0A%20%20%20%20penalty_color%20%3D%20%22%23B98932%22%0A%20%20%20%20cost_color%20%3D%20%22%234B5563%22%0A%20%20%20%20split_a_color%20%3D%20%22%23C9791B%22%0A%20%20%20%20split_b_color%20%3D%20%22%236C8BA4%22%0A%20%20%20%20cv_color%20%3D%20chosen_color%0A%20%20%20%20coef_palette%20%3D%20%5B%22%233F7D52%22%2C%20%22%235F86A8%22%2C%20%22%23B75A3C%22%2C%20%22%238A7E45%22%2C%20%22%238B94A3%22%5D%0A%20%20%20%20style%20%3D%20%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20html%2C%20body%2C%20div%2C%20span%2C%20p%2C%20li%2C%20label%2C%20button%2C%20input%2C%20select%2C%20textarea%2C%20h1%2C%20h2%2C%20h3%2C%20h4%20%7B%0A%20%20%20%20%20%20font-family%3A%20%22Segoe%20UI%22%2C%20%22Trebuchet%20MS%22%2C%20%22DejaVu%20Sans%22%2C%20Arial%2C%20sans-serif%20!important%3B%0A%20%20%20%20%20%20text-align%3A%20left%20!important%3B%0A%20%20%20%20%7D%0A%20%20%20%20.markdown%20h1%2C%0A%20%20%20%20.markdown%20h2%2C%0A%20%20%20%20.markdown%20h3%2C%0A%20%20%20%20.markdown%20h4%20%7B%0A%20%20%20%20%20%20text-align%3A%20left%20!important%3B%0A%20%20%20%20%20%20margin-top%3A%200.04rem%20!important%3B%0A%20%20%20%20%20%20margin-bottom%3A%200.04rem%20!important%3B%0A%20%20%20%20%20%20line-height%3A%201.2%20!important%3B%0A%20%20%20%20%7D%0A%20%20%20%20.markdown%20h1%20%7B%0A%20%20%20%20%20%20font-size%3A%202.05rem%20!important%3B%0A%20%20%20%20%20%20font-weight%3A%20650%20!important%3B%0A%20%20%20%20%7D%0A%20%20%20%20.markdown%20p%2C%0A%20%20%20%20.markdown%20ul%2C%0A%20%20%20%20.markdown%20ol%20%7B%0A%20%20%20%20%20%20text-align%3A%20left%20!important%3B%0A%20%20%20%20%20%20margin-top%3A%200.04rem%20!important%3B%0A%20%20%20%20%20%20margin-bottom%3A%200.12rem%20!important%3B%0A%20%20%20%20%20%20line-height%3A%201.45%20!important%3B%0A%20%20%20%20%7D%0A%20%20%20%20.markdown%20li%20%7B%0A%20%20%20%20%20%20margin%3A%200.05rem%200%20!important%3B%0A%20%20%20%20%7D%0A%20%20%20%20.markdown%20ul%2C%0A%20%20%20%20.markdown%20ol%20%7B%0A%20%20%20%20%20%20padding-left%3A%201.15rem%20!important%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-panel%20%7B%0A%20%20%20%20%20%20display%3A%20grid%3B%0A%20%20%20%20%20%20gap%3A%200.34rem%3B%0A%20%20%20%20%20%20margin-top%3A%200.04rem%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-card%20%7B%0A%20%20%20%20%20%20border%3A%201px%20solid%20%23D9E1E7%3B%0A%20%20%20%20%20%20border-radius%3A%2010px%3B%0A%20%20%20%20%20%20padding%3A%200.55rem%200.65rem%3B%0A%20%20%20%20%20%20background%3A%20%23FAFCFE%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-heading%20%7B%0A%20%20%20%20%20%20font-size%3A%200.84rem%3B%0A%20%20%20%20%20%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20color%3A%20%235D6B78%3B%0A%20%20%20%20%20%20margin-bottom%3A%200.35rem%3B%0A%20%20%20%20%20%20letter-spacing%3A%200.01em%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-row%20%7B%0A%20%20%20%20%20%20display%3A%20flex%3B%0A%20%20%20%20%20%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20gap%3A%200.75rem%3B%0A%20%20%20%20%20%20align-items%3A%20baseline%3B%0A%20%20%20%20%20%20margin%3A%200.12rem%200%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-row%20%2B%20.results-row%20%7B%0A%20%20%20%20%20%20border-top%3A%201px%20solid%20%23EDF2F6%3B%0A%20%20%20%20%20%20padding-top%3A%200.22rem%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-label%20%7B%0A%20%20%20%20%20%20color%3A%20%235D6B78%3B%0A%20%20%20%20%20%20font-size%3A%200.84rem%3B%0A%20%20%20%20%7D%0A%20%20%20%20.results-value%20%7B%0A%20%20%20%20%20%20color%3A%20%231F2A36%3B%0A%20%20%20%20%20%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20font-size%3A%200.96rem%3B%0A%20%20%20%20%20%20text-align%3A%20right%3B%0A%20%20%20%20%7D%0A%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20chosen_color%2C%0A%20%20%20%20%20%20%20%20coef_palette%2C%0A%20%20%20%20%20%20%20%20cost_color%2C%0A%20%20%20%20%20%20%20%20cv_color%2C%0A%20%20%20%20%20%20%20%20data_color%2C%0A%20%20%20%20%20%20%20%20lasso_color%2C%0A%20%20%20%20%20%20%20%20mse_color%2C%0A%20%20%20%20%20%20%20%20path_color%2C%0A%20%20%20%20%20%20%20%20penalty_color%2C%0A%20%20%20%20%20%20%20%20split_a_color%2C%0A%20%20%20%20%20%20%20%20split_b_color%2C%0A%20%20%20%20%20%20%20%20style%2C%0A%20%20%20%20%20%20%20%20train_color%2C%0A%20%20%20%20%20%20%20%20valid_color%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20demo_data(np)%3A%0A%20%20%20%20x_one%20%3D%20np.array(%5B0.0%2C%201.0%2C%202.0%2C%203.0%5D)%0A%20%20%20%20y_one%20%3D%20np.array(%5B0.0%2C%201.0%2C%202.0%2C%203.0%5D)%0A%20%20%20%20x_two%20%3D%20np.array(%5B0.0%2C%201.0%2C%202.0%2C%203.0%5D)%0A%20%20%20%20y_two%20%3D%20np.array(%5B1.0%2C%202.0%2C%203.0%2C%204.0%5D)%0A%20%20%20%20return%20x_one%2C%20x_two%2C%20y_one%2C%20y_two%0A%0A%0A%40app.cell%0Adef%20optimization_helpers(np%2C%20x_one%2C%20x_two%2C%20y_one%2C%20y_two)%3A%0A%20%20%20%20def%20mse(y_true%3A%20np.ndarray%2C%20y_pred%3A%20np.ndarray)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20y_true%20%3D%20np.asarray(y_true%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20y_pred%20%3D%20np.asarray(y_pred%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%20float(np.mean((y_true%20-%20y_pred)%20**%202))%0A%20%20%20%20def%20mse_1p(beta1%3A%20float)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20mse(y_one%2C%20beta1%20*%20x_one)%0A%20%20%20%20def%20grad_1p(beta1%3A%20float)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20residual%20%3D%20y_one%20-%20beta1%20*%20x_one%0A%20%20%20%20%20%20%20%20return%20float(-2.0%20*%20np.mean(x_one%20*%20residual))%0A%20%20%20%20def%20run_gd_1p(start%3A%20float%2C%20alpha%3A%20float%2C%20steps%3A%20int%2C%20bound%3A%20float%20%3D%2014.0)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20path%20%3D%20%5Bfloat(start)%5D%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(int(steps))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20current%20%3D%20path%5B-1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20next_beta%20%3D%20current%20-%20alpha%20*%20grad_1p(current)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20abs(next_beta)%20%3E%20bound%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20path.append(next_beta)%0A%20%20%20%20%20%20%20%20return%20np.asarray(path)%0A%20%20%20%20def%20mse_2p(beta0%3A%20float%2C%20beta1%3A%20float)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20mse(y_two%2C%20beta0%20%2B%20beta1%20*%20x_two)%0A%20%20%20%20def%20grad_2p(beta0%3A%20float%2C%20beta1%3A%20float)%20-%3E%20tuple%5Bfloat%2C%20float%5D%3A%0A%20%20%20%20%20%20%20%20residual%20%3D%20y_two%20-%20beta0%20-%20beta1%20*%20x_two%0A%20%20%20%20%20%20%20%20grad0%20%3D%20float(-2.0%20*%20np.mean(residual))%0A%20%20%20%20%20%20%20%20grad1%20%3D%20float(-2.0%20*%20np.mean(x_two%20*%20residual))%0A%20%20%20%20%20%20%20%20return%20grad0%2C%20grad1%0A%20%20%20%20def%20run_gd_2p(%0A%20%20%20%20%20%20%20%20start0%3A%20float%2C%0A%20%20%20%20%20%20%20%20start1%3A%20float%2C%0A%20%20%20%20%20%20%20%20alpha%3A%20float%2C%0A%20%20%20%20%20%20%20%20steps%3A%20int%2C%0A%20%20%20%20%20%20%20%20bound%3A%20float%20%3D%2010.0%2C%0A%20%20%20%20)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20path%20%3D%20%5B(float(start0)%2C%20float(start1))%5D%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(int(steps))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20beta0%2C%20beta1%20%3D%20path%5B-1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20grad0%2C%20grad1%20%3D%20grad_2p(beta0%2C%20beta1)%0A%20%20%20%20%20%20%20%20%20%20%20%20next0%20%3D%20beta0%20-%20alpha%20*%20grad0%0A%20%20%20%20%20%20%20%20%20%20%20%20next1%20%3D%20beta1%20-%20alpha%20*%20grad1%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20abs(next0)%20%3E%20bound%20or%20abs(next1)%20%3E%20bound%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20path.append((next0%2C%20next1))%0A%20%20%20%20%20%20%20%20return%20np.asarray(path)%0A%0A%20%20%20%20return%20grad_1p%2C%20mse%2C%20mse_1p%2C%20mse_2p%2C%20run_gd_1p%2C%20run_gd_2p%0A%0A%0A%40app.cell%0Adef%20resampling_helpers(np)%3A%0A%20%20%20%20def%20split_indices(%0A%20%20%20%20%20%20%20%20n_samples%3A%20int%2C%0A%20%20%20%20%20%20%20%20train_frac%3A%20float%2C%0A%20%20%20%20%20%20%20%20valid_frac%3A%20float%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20)%20-%3E%20tuple%5Bnp.ndarray%2C%20np.ndarray%2C%20np.ndarray%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20order%20%3D%20rng.permutation(n_samples)%0A%20%20%20%20%20%20%20%20n_train%20%3D%20int(np.floor(n_samples%20*%20train_frac))%0A%20%20%20%20%20%20%20%20n_valid%20%3D%20int(np.floor(n_samples%20*%20valid_frac))%0A%20%20%20%20%20%20%20%20train_idx%20%3D%20np.sort(order%5B%3An_train%5D)%0A%20%20%20%20%20%20%20%20valid_idx%20%3D%20np.sort(order%5Bn_train%3An_train%20%2B%20n_valid%5D)%0A%20%20%20%20%20%20%20%20test_idx%20%3D%20np.sort(order%5Bn_train%20%2B%20n_valid%3A%5D)%0A%20%20%20%20%20%20%20%20return%20train_idx%2C%20valid_idx%2C%20test_idx%0A%20%20%20%20def%20kfold_indices(n_samples%3A%20int%2C%20n_splits%3A%20int%2C%20seed%3A%20int)%20-%3E%20list%5Btuple%5Bnp.ndarray%2C%20np.ndarray%5D%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20order%20%3D%20rng.permutation(n_samples)%0A%20%20%20%20%20%20%20%20folds%20%3D%20np.array_split(order%2C%20n_splits)%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Btuple%5Bnp.ndarray%2C%20np.ndarray%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20fold_index%20in%20range(n_splits)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20valid_idx%20%3D%20np.sort(folds%5Bfold_index%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20train_idx%20%3D%20np.sort(np.concatenate(%5Bfold%20for%20idx%2C%20fold%20in%20enumerate(folds)%20if%20idx%20!%3D%20fold_index%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append((train_idx%2C%20valid_idx))%0A%20%20%20%20%20%20%20%20return%20rows%0A%0A%20%20%20%20return%20kfold_indices%2C%20split_indices%0A%0A%0A%40app.cell%0Adef%20regularization_helpers(mse_1p%2C%20mse_2p%2C%20np)%3A%0A%20%20%20%20def%20penalty_raw(values%3A%20np.ndarray%2C%20penalty%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20values%20%3D%20np.asarray(values%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20if%20penalty%20%3D%3D%20%22ridge%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20float(np.sum(values**2))%0A%20%20%20%20%20%20%20%20return%20float(np.sum(np.abs(values)))%0A%20%20%20%20def%20penalty_contribution(values%3A%20np.ndarray%2C%20lambda_value%3A%20float%2C%20penalty%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20float(lambda_value%20*%20penalty_raw(values%2C%20penalty))%0A%20%20%20%20def%20cost_1p(beta1%3A%20float%2C%20lambda_value%3A%20float%2C%20penalty%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20mse_1p(beta1)%20%2B%20penalty_contribution(np.array(%5Bbeta1%5D)%2C%20lambda_value%2C%20penalty)%0A%20%20%20%20def%20cost_2p(beta0%3A%20float%2C%20beta1%3A%20float%2C%20lambda_value%3A%20float%2C%20penalty%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20mse_2p(beta0%2C%20beta1)%20%2B%20penalty_contribution(np.array(%5Bbeta0%2C%20beta1%5D)%2C%20lambda_value%2C%20penalty)%0A%20%20%20%20def%20prepare_features(X%3A%20np.ndarray%2C%20standardize%3A%20bool%20%3D%20True)%20-%3E%20tuple%5Bnp.ndarray%2C%20np.ndarray%2C%20np.ndarray%5D%3A%0A%20%20%20%20%20%20%20%20X%20%3D%20np.asarray(X%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20means%20%3D%20X.mean(axis%3D0)%0A%20%20%20%20%20%20%20%20centered%20%3D%20X%20-%20means%0A%20%20%20%20%20%20%20%20scales%20%3D%20X.std(axis%3D0%2C%20ddof%3D0)%0A%20%20%20%20%20%20%20%20scales%5Bscales%20%3D%3D%200.0%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20if%20standardize%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20transformed%20%3D%20centered%20%2F%20scales%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20transformed%20%3D%20centered%0A%20%20%20%20%20%20%20%20%20%20%20%20scales%20%3D%20np.ones(X.shape%5B1%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%20transformed%2C%20means%2C%20scales%0A%20%20%20%20def%20soft_threshold(value%3A%20float%2C%20gamma%3A%20float)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20if%20value%20%3E%20gamma%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20value%20-%20gamma%0A%20%20%20%20%20%20%20%20if%20value%20%3C%20-gamma%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20value%20%2B%20gamma%0A%20%20%20%20%20%20%20%20return%200.0%0A%20%20%20%20def%20fit_ols(X%3A%20np.ndarray%2C%20y%3A%20np.ndarray)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20float%20%7C%20bool%5D%3A%0A%20%20%20%20%20%20%20%20X%20%3D%20np.asarray(X%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.asarray(y%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20design%20%3D%20np.column_stack(%5Bnp.ones(len(X))%2C%20X%5D)%0A%20%20%20%20%20%20%20%20coef%2C%20_%2C%20_%2C%20_%20%3D%20np.linalg.lstsq(design%2C%20y%2C%20rcond%3DNone)%0A%20%20%20%20%20%20%20%20return%20%7B%22intercept%22%3A%20float(coef%5B0%5D)%2C%20%22beta%22%3A%20np.asarray(coef%5B1%3A%5D%2C%20dtype%3Dfloat)%2C%20%22converged%22%3A%20True%7D%0A%20%20%20%20def%20fit_ridge(%0A%20%20%20%20%20%20%20%20X%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20lambda_value%3A%20float%2C%0A%20%20%20%20%20%20%20%20standardize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20float%20%7C%20bool%5D%3A%0A%20%20%20%20%20%20%20%20X%20%3D%20np.asarray(X%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.asarray(y%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20transformed%2C%20means%2C%20scales%20%3D%20prepare_features(X%2C%20standardize%3Dstandardize)%0A%20%20%20%20%20%20%20%20y_mean%20%3D%20float(np.mean(y))%0A%20%20%20%20%20%20%20%20y_centered%20%3D%20y%20-%20y_mean%0A%20%20%20%20%20%20%20%20n_features%20%3D%20transformed.shape%5B1%5D%0A%20%20%20%20%20%20%20%20gram%20%3D%20transformed.T%20%40%20transformed%20%2F%20len(X)%0A%20%20%20%20%20%20%20%20rhs%20%3D%20transformed.T%20%40%20y_centered%20%2F%20len(X)%0A%20%20%20%20%20%20%20%20beta_scaled%20%3D%20np.linalg.solve(gram%20%2B%20lambda_value%20*%20np.eye(n_features)%2C%20rhs)%0A%20%20%20%20%20%20%20%20beta%20%3D%20beta_scaled%20%2F%20scales%0A%20%20%20%20%20%20%20%20intercept%20%3D%20y_mean%20-%20means%20%40%20beta%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22intercept%22%3A%20float(intercept)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22beta%22%3A%20beta%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22beta_scaled%22%3A%20beta_scaled%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22converged%22%3A%20True%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20def%20fit_lasso(%0A%20%20%20%20%20%20%20%20X%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20lambda_value%3A%20float%2C%0A%20%20%20%20%20%20%20%20standardize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20%20%20%20%20max_iter%3A%20int%20%3D%206000%2C%0A%20%20%20%20%20%20%20%20tol%3A%20float%20%3D%201e-6%2C%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20float%20%7C%20bool%5D%3A%0A%20%20%20%20%20%20%20%20X%20%3D%20np.asarray(X%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.asarray(y%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20transformed%2C%20means%2C%20scales%20%3D%20prepare_features(X%2C%20standardize%3Dstandardize)%0A%20%20%20%20%20%20%20%20y_mean%20%3D%20float(np.mean(y))%0A%20%20%20%20%20%20%20%20y_centered%20%3D%20y%20-%20y_mean%0A%20%20%20%20%20%20%20%20n_features%20%3D%20transformed.shape%5B1%5D%0A%20%20%20%20%20%20%20%20beta%20%3D%20np.zeros(n_features%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20converged%20%3D%20False%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(max_iter)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20previous%20%3D%20beta.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted%20%3D%20transformed%20%40%20beta%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20column%20in%20range(n_features)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20residual%20%3D%20y_centered%20-%20fitted%20%2B%20transformed%5B%3A%2C%20column%5D%20*%20beta%5Bcolumn%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rho%20%3D%20float(np.mean(transformed%5B%3A%2C%20column%5D%20*%20residual))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z_value%20%3D%20float(np.mean(transformed%5B%3A%2C%20column%5D%20**%202))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new_beta%20%3D%20soft_threshold(rho%2C%20lambda_value)%20%2F%20z_value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fitted%20%3D%20fitted%20%2B%20transformed%5B%3A%2C%20column%5D%20*%20(new_beta%20-%20beta%5Bcolumn%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20beta%5Bcolumn%5D%20%3D%20new_beta%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.max(np.abs(beta%20-%20previous))%20%3C%20tol%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20converged%20%3D%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20beta_unscaled%20%3D%20beta%20%2F%20scales%0A%20%20%20%20%20%20%20%20intercept%20%3D%20y_mean%20-%20means%20%40%20beta_unscaled%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22intercept%22%3A%20float(intercept)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22beta%22%3A%20beta_unscaled%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22beta_scaled%22%3A%20beta.copy()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22converged%22%3A%20converged%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20def%20fit_model(%0A%20%20%20%20%20%20%20%20X%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20penalty%3A%20str%2C%0A%20%20%20%20%20%20%20%20lambda_value%3A%20float%2C%0A%20%20%20%20%20%20%20%20standardize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20float%20%7C%20bool%5D%3A%0A%20%20%20%20%20%20%20%20if%20penalty%20%3D%3D%20%22ridge%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20fit_ridge(X%2C%20y%2C%20lambda_value%3Dlambda_value%2C%20standardize%3Dstandardize)%0A%20%20%20%20%20%20%20%20if%20penalty%20%3D%3D%20%22lasso%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20fit_lasso(X%2C%20y%2C%20lambda_value%3Dlambda_value%2C%20standardize%3Dstandardize)%0A%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20penalty%3A%20%7Bpenalty%7D%22)%0A%20%20%20%20def%20predict_linear(model%3A%20dict%5Bstr%2C%20np.ndarray%20%7C%20float%20%7C%20bool%5D%2C%20X%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20return%20float(model%5B%22intercept%22%5D)%20%2B%20np.asarray(X%2C%20dtype%3Dfloat)%20%40%20np.asarray(model%5B%22beta%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20def%20selected_variables(beta%3A%20np.ndarray%2C%20names%3A%20list%5Bstr%5D%2C%20threshold%3A%20float%20%3D%201e-5)%20-%3E%20list%5Bstr%5D%3A%0A%20%20%20%20%20%20%20%20return%20%5Bname%20for%20name%2C%20value%20in%20zip(names%2C%20beta)%20if%20abs(value)%20%3E%20threshold%5D%0A%20%20%20%20def%20coefficient_summary(beta%3A%20np.ndarray%2C%20names%3A%20list%5Bstr%5D%2C%20digits%3A%20int%20%3D%202)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20values%20%3D%20np.asarray(beta%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%20%22%2C%20%22.join(f%22%7Bname%7D%3A%20%7Bvalue%3A.%7Bdigits%7Df%7D%22%20for%20name%2C%20value%20in%20zip(names%2C%20values))%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20coefficient_summary%2C%0A%20%20%20%20%20%20%20%20cost_1p%2C%0A%20%20%20%20%20%20%20%20cost_2p%2C%0A%20%20%20%20%20%20%20%20fit_lasso%2C%0A%20%20%20%20%20%20%20%20fit_model%2C%0A%20%20%20%20%20%20%20%20penalty_contribution%2C%0A%20%20%20%20%20%20%20%20predict_linear%2C%0A%20%20%20%20%20%20%20%20selected_variables%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20simulation_helpers(np)%3A%0A%20%20%20%20def%20simulate_selection_data(%0A%20%20%20%20%20%20%20%20n_samples%3A%20int%20%3D%20140%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%20%3D%202026%2C%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20list%5Bstr%5D%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20x_signal%20%3D%20rng.normal(size%3Dn_samples)%0A%20%20%20%20%20%20%20%20x_copy%20%3D%200.88%20*%20x_signal%20%2B%200.35%20*%20rng.normal(size%3Dn_samples)%0A%20%20%20%20%20%20%20%20x_noise_1%20%3D%20rng.normal(size%3Dn_samples)%0A%20%20%20%20%20%20%20%20x_noise_2%20%3D%20rng.normal(size%3Dn_samples)%0A%20%20%20%20%20%20%20%20x_noise_3%20%3D%20rng.normal(size%3Dn_samples)%0A%20%20%20%20%20%20%20%20X%20%3D%20np.column_stack(%5Bx_signal%2C%20x_copy%2C%20x_noise_1%2C%20x_noise_2%2C%20x_noise_3%5D)%0A%20%20%20%20%20%20%20%20beta_true%20%3D%20np.array(%5B1.8%2C%200.0%2C%200.0%2C%200.0%2C%200.0%5D)%0A%20%20%20%20%20%20%20%20y%20%3D%201.0%20%2B%20X%20%40%20beta_true%20%2B%20rng.normal(0.0%2C%201.8%2C%20size%3Dn_samples)%0A%20%20%20%20%20%20%20%20names%20%3D%20%5B%22Signal%22%2C%20%22Copy%22%2C%20%22Noise%201%22%2C%20%22Noise%202%22%2C%20%22Noise%203%22%5D%0A%20%20%20%20%20%20%20%20return%20%7B%22X%22%3A%20X%2C%20%22y%22%3A%20y%2C%20%22beta_true%22%3A%20beta_true%2C%20%22names%22%3A%20names%7D%0A%20%20%20%20def%20simulate_scaled_data(%0A%20%20%20%20%20%20%20%20n_samples%3A%20int%20%3D%20180%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%20%3D%2042%2C%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20list%5Bstr%5D%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20latent%20%3D%20rng.normal(size%3D(n_samples%2C%204))%0A%20%20%20%20%20%20%20%20latent%20%3D%20(latent%20-%20latent.mean(axis%3D0))%20%2F%20latent.std(axis%3D0%2C%20ddof%3D0)%0A%20%20%20%20%20%20%20%20signal_small%20%3D%20latent%5B%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20signal_large%20%3D%20100.0%20*%20latent%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20noise_small%20%3D%20latent%5B%3A%2C%202%5D%0A%20%20%20%20%20%20%20%20noise_large%20%3D%20100.0%20*%20latent%5B%3A%2C%203%5D%0A%20%20%20%20%20%20%20%20y%20%3D%202.4%20*%20latent%5B%3A%2C%200%5D%20%2B%202.4%20*%20latent%5B%3A%2C%201%5D%20%2B%20rng.normal(0.0%2C%200.8%2C%20size%3Dn_samples)%0A%20%20%20%20%20%20%20%20X%20%3D%20np.column_stack(%5Bsignal_small%2C%20signal_large%2C%20noise_small%2C%20noise_large%5D)%0A%20%20%20%20%20%20%20%20names%20%3D%20%5B%22a%20(signal)%22%2C%20%22b%20(signal)%22%2C%20%22c%20(noise)%22%2C%20%22d%20(noise)%22%5D%0A%20%20%20%20%20%20%20%20return%20%7B%22X%22%3A%20X%2C%20%22y%22%3A%20y%2C%20%22names%22%3A%20names%7D%0A%0A%20%20%20%20return%20simulate_scaled_data%2C%20simulate_selection_data%0A%0A%0A%40app.cell%0Adef%20selection_helpers(%0A%20%20%20%20fit_model%2C%0A%20%20%20%20kfold_indices%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20np%2C%0A%20%20%20%20predict_linear%2C%0A%20%20%20%20split_indices%2C%0A)%3A%0A%20%20%20%20def%20evaluate_lambda_grid(%0A%20%20%20%20%20%20%20%20X%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20lambdas%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20penalty%3A%20str%2C%0A%20%20%20%20%20%20%20%20split_seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20standardize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20)%20-%3E%20tuple%5Blist%5Bdict%5Bstr%2C%20float%5D%5D%2C%20tuple%5Bnp.ndarray%2C%20np.ndarray%2C%20np.ndarray%5D%5D%3A%0A%20%20%20%20%20%20%20%20train_idx%2C%20valid_idx%2C%20test_idx%20%3D%20split_indices(len(X)%2C%20train_frac%3D0.60%2C%20valid_frac%3D0.20%2C%20seed%3Dsplit_seed)%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20lambda_value%20in%20lambdas%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_model(X%5Btrain_idx%5D%2C%20y%5Btrain_idx%5D%2C%20penalty%3Dpenalty%2C%20lambda_value%3Dfloat(lambda_value)%2C%20standardize%3Dstandardize)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lambda%22%3A%20float(lambda_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22train_mse%22%3A%20mse(y%5Btrain_idx%5D%2C%20predict_linear(model%2C%20X%5Btrain_idx%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22validation_mse%22%3A%20mse(y%5Bvalid_idx%5D%2C%20predict_linear(model%2C%20X%5Bvalid_idx%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22test_mse%22%3A%20mse(y%5Btest_idx%5D%2C%20predict_linear(model%2C%20X%5Btest_idx%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20rows%2C%20(train_idx%2C%20valid_idx%2C%20test_idx)%0A%20%20%20%20def%20evaluate_cv_grid(%0A%20%20%20%20%20%20%20%20X%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20lambdas%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20penalty%3A%20str%2C%0A%20%20%20%20%20%20%20%20n_splits%3A%20int%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20standardize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20)%20-%3E%20list%5Bdict%5Bstr%2C%20float%5D%5D%3A%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20lambda_value%20in%20lambdas%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fold_mses%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20train_idx%2C%20valid_idx%20in%20kfold_indices(len(X)%2C%20n_splits%3Dn_splits%2C%20seed%3Dseed)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_model(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X%5Btrain_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%5Btrain_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20penalty%3Dpenalty%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda_value%3Dfloat(lambda_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20standardize%3Dstandardize%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fold_mses.append(mse(y%5Bvalid_idx%5D%2C%20predict_linear(model%2C%20X%5Bvalid_idx%5D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22lambda%22%3A%20float(lambda_value)%2C%20%22cv_mse%22%3A%20float(np.mean(fold_mses))%7D)%0A%20%20%20%20%20%20%20%20return%20rows%0A%20%20%20%20def%20coefficient_path_rows(%0A%20%20%20%20%20%20%20%20X%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20names%3A%20list%5Bstr%5D%2C%0A%20%20%20%20%20%20%20%20lambdas%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20penalty%3A%20str%2C%0A%20%20%20%20%20%20%20%20standardize%3A%20bool%20%3D%20True%2C%0A%20%20%20%20)%20-%3E%20list%5Bdict%5Bstr%2C%20float%20%7C%20str%5D%5D%3A%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%20%7C%20str%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20lambda_value%20in%20lambdas%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_model(X%2C%20y%2C%20penalty%3Dpenalty%2C%20lambda_value%3Dfloat(lambda_value)%2C%20standardize%3Dstandardize)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20value%20in%20zip(names%2C%20np.asarray(model%5B%22beta%22%5D%2C%20dtype%3Dfloat))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22lambda%22%3A%20float(lambda_value)%2C%20%22name%22%3A%20name%2C%20%22beta%22%3A%20float(value)%7D)%0A%20%20%20%20%20%20%20%20return%20rows%0A%0A%20%20%20%20return%20coefficient_path_rows%2C%20evaluate_cv_grid%2C%20evaluate_lambda_grid%0A%0A%0A%40app.cell%0Adef%20ui_helpers(mo)%3A%0A%20%20%20%20def%20finish_figure(fig)%3A%0A%20%20%20%20%20%20%20%20fig.tight_layout(pad%3D0.75%2C%20w_pad%3D0.9%2C%20h_pad%3D0.9)%0A%20%20%20%20%20%20%20%20return%20fig%0A%20%20%20%20def%20counter_button(label%3A%20str%2C%20kind%3A%20str)%3A%0A%20%20%20%20%20%20%20%20return%20mo.ui.button(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_click%3Dlambda%20value%3A%20value%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Dlabel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3Dkind%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20def%20two_col(main%3A%20object%2C%20side%3A%20object)%3A%0A%20%20%20%20%20%20%20%20return%20mo.hstack(%5Bside%2C%20main%5D%2C%20widths%3D%5B1.02%2C%201.68%5D%2C%20gap%3D0.65%2C%20align%3D%22start%22%2C%20wrap%3DTrue)%0A%20%20%20%20def%20section_md(title%3A%20str%2C%20kicker%3A%20str%2C%20body%3A%20str%20%3D%20%22%22)%3A%0A%20%20%20%20%20%20%20%20blocks%20%3D%20%5Bmo.md(f%22%23%23%20%7Btitle%7D%22)%2C%20mo.md(f%22*%7Bkicker%7D*%22)%5D%0A%20%20%20%20%20%20%20%20if%20body%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20blocks.append(mo.md(body))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(blocks%2C%20gap%3D0.03)%0A%20%20%20%20def%20metrics_md(metrics%3A%20list%5Btuple%5Bstr%2C%20str%5D%5D)%3A%0A%20%20%20%20%20%20%20%20if%20not%20metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.md(%22%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Cdiv%20class%3D'results-row'%3E%3Cdiv%20class%3D'results-label'%3E%7Blabel%7D%3C%2Fdiv%3E%3Cdiv%20class%3D'results-value'%3E%7Bvalue%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20label%2C%20value%20in%20metrics%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%3Cdiv%20class%3D'results-panel'%3E%3Cdiv%20class%3D'results-card'%3E%3Cdiv%20class%3D'results-heading'%3EResults%3C%2Fdiv%3E%7Brows%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22)%0A%20%20%20%20def%20takeaway_md(text%3A%20str)%3A%0A%20%20%20%20%20%20%20%20return%20mo.md(f%22**Takeaway.**%20%7Btext%7D%22)%0A%20%20%20%20def%20note_md(text%3A%20str)%3A%0A%20%20%20%20%20%20%20%20return%20mo.md(f%22_%7Btext%7D_%22)%0A%20%20%20%20def%20questions_md(questions%3A%20list%5Bstr%5D)%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%22%5Cn%22.join(f%22-%20%7Bquestion%7D%22%20for%20question%20in%20questions)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(%22**Make%20sure%20you%20can%20answer%20these%20questions**%22)%2C%20mo.md(items)%5D%2C%20gap%3D0.02)%0A%20%20%20%20def%20sidebar(widgets%3A%20list%5Bobject%5D%2C%20metrics%3A%20list%5Btuple%5Bstr%2C%20str%5D%5D)%3A%0A%20%20%20%20%20%20%20%20blocks%3A%20list%5Bobject%5D%20%3D%20%5Bmo.md(%22**Controls**%22)%2C%20*widgets%5D%0A%20%20%20%20%20%20%20%20if%20metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20blocks.append(metrics_md(metrics))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(blocks%2C%20gap%3D0.20%2C%20align%3D%22stretch%22)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20counter_button%2C%0A%20%20%20%20%20%20%20%20finish_figure%2C%0A%20%20%20%20%20%20%20%20note_md%2C%0A%20%20%20%20%20%20%20%20questions_md%2C%0A%20%20%20%20%20%20%20%20section_md%2C%0A%20%20%20%20%20%20%20%20sidebar%2C%0A%20%20%20%20%20%20%20%20takeaway_md%2C%0A%20%20%20%20%20%20%20%20two_col%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20intro(mo%2C%20style)%3A%0A%20%20%20%20_page%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(style)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%20Fitting%20Models%20and%20Controlling%20Complexity%3A%20Gradient%20Descent%20and%20Regularization%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Javier%20Garcia-Bernardo%20%E2%80%94%20ODISSEI%20Social%20Data%20Science%20team%20(SoDa)%20%26%20Department%20of%20Methodology%20and%20Statistics%2C%20Utrecht%20University*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20app%20builds%20intuition%20about%20two%20linked%20tasks%20in%20predictive%20modeling%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22-%20Estimate%20the%20coefficients%20for%20a%20specified%20model.%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22-%20Tune%20model%20complexity%20to%20find%20a%20good%20balance%20between%20bias%20and%20variance.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22In%20sections%201-2%2C%20the%20model%20is%20already%20specified%3A%20for%20example%2C%20we%20have%20decided%20to%20use%20a%20linear%20regression%2C%20such%20as%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24y%20%3D%20%5Cbeta_0%20%2B%20%5Cbeta_1%20x%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20task%20is%20then%20to%20estimate%20the%20coefficient%20values%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%20(the%20%24%5Cbeta%24s).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Sections%203-8%20ask%20a%20different%20question%3A%20how%20flexible%20should%20the%20model%20be%3F%20Regularization%20help%20us%20tune%20the%20flexibility%20of%20linear%20regression%20so%20we%20do%20not%20underfit%20or%20overfit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20to%20use%20it%3A%20move%20one%20control%20at%20a%20time%2C%20watch%20which%20plot%20or%20result%20changes%2C%20and%20then%20read%20the%20note%2C%20takeaway%2C%20and%20questions.%20Where%20a%20%60Recreate%20data%60%20button%20appears%2C%20it%20draws%20a%20new%20synthetic%20dataset%2C%20so%20small%20differences%20across%20clicks%20are%20part%20of%20the%20lesson.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.45%2C%0A%20%20%20%20)%0A%20%20%20%20_page%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s1_controls(mo)%3A%0A%20%20%20%20s1_lr%20%3D%20mo.ui.slider(0.01%2C%200.50%2C%20value%3D0.10%2C%20step%3D0.01%2C%20label%3D%22Learning%20rate%22)%0A%20%20%20%20s1_steps%20%3D%20mo.ui.slider(0%2C%2025%2C%20value%3D0%2C%20step%3D1%2C%20label%3D%22Gradient%20descent%20steps%22)%0A%20%20%20%20return%20s1_lr%2C%20s1_steps%0A%0A%0A%40app.cell%0Adef%20s1_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20cost_color%2C%0A%20%20%20%20data_color%2C%0A%20%20%20%20finish_figure%2C%0A%20%20%20%20grad_1p%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse_1p%2C%0A%20%20%20%20mse_color%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20path_color%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20run_gd_1p%2C%0A%20%20%20%20s1_lr%2C%0A%20%20%20%20s1_steps%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20x_one%2C%0A%20%20%20%20y_one%2C%0A)%3A%0A%20%20%20%20_path%20%3D%20run_gd_1p(start%3D-0.5%2C%20alpha%3Dfloat(s1_lr.value)%2C%20steps%3Dint(s1_steps.value))%0A%20%20%20%20_current_beta%20%3D%20float(_path%5B-1%5D)%0A%20%20%20%20_diverged%20%3D%20len(_path)%20%3C%20int(s1_steps.value)%20%2B%201%0A%20%20%20%20_beta_grid%20%3D%20np.linspace(-0.5%2C%202.5%2C%20320)%0A%20%20%20%20_loss_grid%20%3D%20np.array(%5Bmse_1p(beta)%20for%20beta%20in%20_beta_grid%5D)%0A%20%20%20%20_fig%2C%20(_ax_fit%2C%20_ax_loss)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6.0%2C%202.65))%0A%20%20%20%20_x_line%20%3D%20np.linspace(-0.2%2C%203.2%2C%20120)%0A%20%20%20%20_ax_fit.scatter(x_one%2C%20y_one%2C%20color%3Ddata_color%2C%20s%3D55%2C%20zorder%3D5)%0A%20%20%20%20_ax_fit.plot(_x_line%2C%20_current_beta%20*%20_x_line%2C%20color%3Dchosen_color%2C%20linewidth%3D2.6)%0A%20%20%20%20_ax_fit.set(xlabel%3D%22x%22%2C%20ylabel%3D%22y%22%2C%20xlim%3D(-0.2%2C%203.2)%2C%20ylim%3D(-1.8%2C%204.1))%0A%20%20%20%20_ax_loss.plot(_beta_grid%2C%20_loss_grid%2C%20color%3Dmse_color%2C%20linewidth%3D2.0)%0A%20%20%20%20_ax_loss.plot(_path%2C%20%5Bmse_1p(beta)%20for%20beta%20in%20_path%5D%2C%20%22o-%22%2C%20color%3Dpath_color%2C%20linewidth%3D1.6%2C%20markersize%3D3.8%2C%20clip_on%3DFalse)%0A%20%20%20%20_ax_loss.scatter(%5B_current_beta%5D%2C%20%5Bmse_1p(_current_beta)%5D%2C%20color%3Dchosen_color%2C%20s%3D62%2C%20zorder%3D6%2C%20clip_on%3DFalse)%0A%20%20%20%20_ax_loss.axvline(1.0%2C%20color%3Dcost_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.7)%0A%20%20%20%20_ax_loss.set(xlabel%3Dr%22%24%5Cbeta_1%24%22%2C%20ylabel%3D%22MSE%22%2C%20xlim%3D(-0.5%2C%202.5)%2C%20ylim%3D(-0.05%2C%208.6))%0A%20%20%20%20_ax_loss.set_xticks(%5B-0.5%2C%200.0%2C%201.0%2C%202.0%2C%202.5%5D)%0A%20%20%20%20_fig%20%3D%20finish_figure(_fig)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs1_lr%2C%20s1_steps%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Current%20beta1%22%2C%20f%22%7B_current_beta%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Current%20MSE%22%2C%20f%22%7Bmse_1p(_current_beta)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Gradient%22%2C%20f%22%7Bgrad_1p(_current_beta)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%221.%20Model%20fitting%3A%20Gradient%20Descent%20with%20One%20Coefficient%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Let's%20start%20with%20the%20simplest%20case%3A%20one%20coefficient%20and%20one%20loss%20curve.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20goal%20is%20to%20estimate%20the%20coefficients%20of%20a%20pre-specified%20model%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%7By%7D%20%3D%20%5Cbeta_1%20x%20%5Cquad%20(i.e.%2C%20%5Cbeta_0%20%3D%200)%24.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Gradient%20descent%20is%20a%20rule%20for%20moving%20a%20coefficient%20in%20the%20direction%20that%20lowers%20MSE%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Cbeta_1%5E%7B(t%2B1)%7D%20%3D%20%5Cbeta_1%5E%7B(t)%7D%20-%20%5Calpha%20%5Cleft.%20%5Cfrac%7B%5Cpartial%20%5Cmathrm%7BMSE%7D%7D%7B%5Cpartial%20%5Cbeta_1%7D%20%5Cright%7C_%7B%5Cbeta_1%3D%5Cbeta_1%5E%7B(t)%7D%7D%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20section%20shows%20the%20same%20information%20in%20two%20views%3A%20the%20fitted%20line%20on%20the%20left%20and%20the%20loss%20curve%20on%20the%20right.%20You%20will%20experience%20how%20gradient%20descent%20moves%20the%20coefficient%20towards%20the%20optimal%20value%20using%20the%20update%20rule.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Try%20this%20first%3A%20increase%20the%20number%20of%20steps%2C%20then%20change%20the%20learning%20rate.%20Changing%20the%20learning%20rate%20changes%20the%20path%2C%20not%20the%20location%20of%20the%20minimum.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20very%20large%20learning%20rate%20makes%20the%20updates%20jump%20past%20the%20useful%20region.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_diverged%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20green%20point%20marks%20the%20starting%20coefficient%20before%20any%20update.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20int(s1_steps.value)%20%3D%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22The%20path%20shows%20repeated%20downhill%20updates%20on%20one%20fixed%20objective.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Optimization%20(gradient%20descent)%20is%20about%20how%20we%20reach%20the%20minimum.%20It%20does%20not%20change%20which%20coefficient%20gives%20the%20lowest%20MSE.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20does%20gradient%20descent%20change%20at%20each%20step%3A%20the%20coefficient%2C%20the%20data%2C%20or%20the%20loss%20function%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20does%20the%20learning%20rate%20control%20the%20step%20size%2C%20and%20what%20happens%20when%20it%20is%20too%20small%20or%20too%20large%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s2_controls(mo)%3A%0A%20%20%20%20s2_lr%20%3D%20mo.ui.slider(0.01%2C%200.50%2C%20value%3D0.08%2C%20step%3D0.01%2C%20label%3D%22Learning%20rate%22)%0A%20%20%20%20s2_steps%20%3D%20mo.ui.slider(0%2C%2030%2C%20value%3D0%2C%20step%3D1%2C%20label%3D%22Gradient%20descent%20steps%22)%0A%20%20%20%20return%20s2_lr%2C%20s2_steps%0A%0A%0A%40app.cell%0Adef%20s2_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20cost_color%2C%0A%20%20%20%20data_color%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse_2p%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20path_color%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20run_gd_2p%2C%0A%20%20%20%20s2_lr%2C%0A%20%20%20%20s2_steps%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20x_two%2C%0A%20%20%20%20y_two%2C%0A)%3A%0A%20%20%20%20_path%20%3D%20run_gd_2p(start0%3D-1.0%2C%20start1%3D-0.5%2C%20alpha%3Dfloat(s2_lr.value)%2C%20steps%3Dint(s2_steps.value))%0A%20%20%20%20_current_beta0%2C%20_current_beta1%20%3D%20_path%5B-1%5D%0A%20%20%20%20_beta0_grid%20%3D%20np.linspace(-1.0%2C%202.0%2C%20300)%0A%20%20%20%20_beta1_grid%20%3D%20np.linspace(-1.0%2C%202.2%2C%20300)%0A%20%20%20%20_beta0_mesh%2C%20_beta1_mesh%20%3D%20np.meshgrid(_beta0_grid%2C%20_beta1_grid)%0A%20%20%20%20_mse_surface%20%3D%20np.zeros_like(_beta0_mesh)%0A%20%20%20%20for%20_index%20in%20range(len(x_two))%3A%0A%20%20%20%20%20%20%20%20_mse_surface%20%2B%3D%20(y_two%5B_index%5D%20-%20_beta0_mesh%20-%20_beta1_mesh%20*%20x_two%5B_index%5D)%20**%202%0A%20%20%20%20_mse_surface%20%2F%3D%20len(x_two)%0A%20%20%20%20_fig%2C%20(_ax_fit%2C%20_ax_contour)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6.25%2C%202.8))%0A%20%20%20%20_x_line%20%3D%20np.linspace(-0.2%2C%203.2%2C%20120)%0A%20%20%20%20_ax_fit.scatter(x_two%2C%20y_two%2C%20color%3Ddata_color%2C%20s%3D55%2C%20zorder%3D5)%0A%20%20%20%20_ax_fit.plot(_x_line%2C%20_current_beta0%20%2B%20_current_beta1%20*%20_x_line%2C%20color%3Dchosen_color%2C%20linewidth%3D2.6)%0A%20%20%20%20_ax_fit.set(xlabel%3D%22x%22%2C%20ylabel%3D%22y%22%2C%20xlim%3D(-0.2%2C%203.2)%2C%20ylim%3D(-2.0%2C%205.2))%0A%20%20%20%20_levels%20%3D%20np.linspace(0.0%2C%2015.0%2C%2021)%0A%20%20%20%20_contour_fill%20%3D%20_ax_contour.contourf(_beta0_mesh%2C%20_beta1_mesh%2C%20_mse_surface%2C%20levels%3D_levels%2C%20cmap%3D%22Blues_r%22%2C%20alpha%3D0.88%2C%20extend%3D%22max%22)%0A%20%20%20%20_ax_contour.contour(_beta0_mesh%2C%20_beta1_mesh%2C%20_mse_surface%2C%20levels%3D_levels%2C%20colors%3D%22%23FFFFFF%22%2C%20linewidths%3D0.34%2C%20alpha%3D0.62)%0A%20%20%20%20_ax_contour.plot(_path%5B%3A%2C%200%5D%2C%20_path%5B%3A%2C%201%5D%2C%20%22o-%22%2C%20color%3Dpath_color%2C%20linewidth%3D1.55%2C%20markersize%3D3.6)%0A%20%20%20%20_ax_contour.scatter(%5B1.0%5D%2C%20%5B1.0%5D%2C%20color%3Dcost_color%2C%20marker%3D%22*%22%2C%20s%3D92%2C%20zorder%3D6)%0A%20%20%20%20_ax_contour.scatter(%5B_current_beta0%5D%2C%20%5B_current_beta1%5D%2C%20color%3Dchosen_color%2C%20s%3D52%2C%20zorder%3D6)%0A%20%20%20%20_ax_contour.set(xlabel%3Dr%22%24%5Cbeta_0%24%22%2C%20ylabel%3Dr%22%24%5Cbeta_1%24%22)%0A%20%20%20%20_fig.tight_layout(pad%3D0.75%2C%20w_pad%3D0.75%2C%20h_pad%3D0.80%2C%20rect%3D%5B0.0%2C%200.0%2C%200.92%2C%201.0%5D)%0A%20%20%20%20_cbar_ax%20%3D%20_fig.add_axes(%5B0.935%2C%200.21%2C%200.018%2C%200.58%5D)%0A%20%20%20%20_cbar%20%3D%20_fig.colorbar(_contour_fill%2C%20cax%3D_cbar_ax)%0A%20%20%20%20_cbar.set_label(%22MSE%20(capped%20at%2015)%22%2C%20fontsize%3D8)%0A%20%20%20%20_cbar.ax.tick_params(labelsize%3D7)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs2_lr%2C%20s2_steps%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Current%20beta0%22%2C%20f%22%7B_current_beta0%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Current%20beta1%22%2C%20f%22%7B_current_beta1%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Current%20MSE%22%2C%20f%22%7Bmse_2p(_current_beta0%2C%20_current_beta1)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%222.%20Model%20fitting%3A%20Gradient%20Descent%20with%20Two%20Coefficients%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20loss%20is%20now%20a%20surface%2C%20but%20we%20are%20still%20fitting%20coefficients.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Here%20too%20the%20model%20form%20is%20fixed%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%5C%5B%5Chat%7By%7D%20%3D%20%5Cbeta_0%20%2B%20%5Cbeta_1%20x%5C%5D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22With%20two%20coefficients%2C%20the%20optimization%20picture%20changes%20from%20a%20curve%20to%20contours.%20Darker%20colors%20have%20lower%20MSE%20values.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22The%20star%20marks%20the%20lowest-MSE%20coefficients.%20The%20green%20point%20shows%20where%20the%20algorithm%20is%20after%20the%20selected%20number%20of%20steps.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Going%20from%20one%20coefficient%20to%20two%20adds%20geometry%2C%20not%20a%20new%20optimization%20principle.%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s3_controls(mo)%3A%0A%20%20%20%20s3_penalty%20%3D%20mo.ui.radio(options%3D%5B%22Ridge%20(L2)%22%2C%20%22LASSO%20(L1)%22%5D%2C%20value%3D%22Ridge%20(L2)%22%2C%20label%3D%22Penalty%22)%0A%20%20%20%20s3_lambda%20%3D%20mo.ui.slider(0.0%2C%2010.0%2C%20value%3D1.00%2C%20step%3D0.05%2C%20label%3D%22Lambda%22)%0A%20%20%20%20return%20s3_lambda%2C%20s3_penalty%0A%0A%0A%40app.cell%0Adef%20s3_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20cost_1p%2C%0A%20%20%20%20cost_color%2C%0A%20%20%20%20data_color%2C%0A%20%20%20%20finish_figure%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse_1p%2C%0A%20%20%20%20mse_color%2C%0A%20%20%20%20np%2C%0A%20%20%20%20penalty_color%2C%0A%20%20%20%20penalty_contribution%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s3_lambda%2C%0A%20%20%20%20s3_penalty%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20x_one%2C%0A%20%20%20%20y_one%2C%0A)%3A%0A%20%20%20%20_penalty%20%3D%20%22ridge%22%20if%20s3_penalty.value%20%3D%3D%20%22Ridge%20(L2)%22%20else%20%22lasso%22%0A%20%20%20%20_lambda_value%20%3D%20float(s3_lambda.value)%0A%20%20%20%20_beta_grid%20%3D%20np.linspace(-1.0%2C%202.5%2C%20420)%0A%20%20%20%20_mse_grid%20%3D%20np.array(%5Bmse_1p(beta)%20for%20beta%20in%20_beta_grid%5D)%0A%20%20%20%20_penalty_grid%20%3D%20np.array(%5Bpenalty_contribution(np.array(%5Bbeta%5D)%2C%20_lambda_value%2C%20_penalty)%20for%20beta%20in%20_beta_grid%5D)%0A%20%20%20%20_cost_grid%20%3D%20np.array(%5Bcost_1p(beta%2C%20_lambda_value%2C%20_penalty)%20for%20beta%20in%20_beta_grid%5D)%0A%20%20%20%20_best_beta%20%3D%20float(_beta_grid%5Bnp.argmin(_cost_grid)%5D)%0A%20%20%20%20_y_limit%20%3D%2020.0%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(6.0%2C%204.5))%0A%20%20%20%20_x_line%20%3D%20np.linspace(-0.2%2C%203.2%2C%20120)%0A%20%20%20%20_axes%5B0%2C%200%5D.scatter(x_one%2C%20y_one%2C%20color%3Ddata_color%2C%20s%3D50%2C%20zorder%3D5)%0A%20%20%20%20_axes%5B0%2C%200%5D.plot(_x_line%2C%20_best_beta%20*%20_x_line%2C%20color%3Dchosen_color%2C%20linewidth%3D2.5)%0A%20%20%20%20_axes%5B0%2C%200%5D.set(xlabel%3D%22x%22%2C%20ylabel%3D%22y%22%2C%20xlim%3D(-0.2%2C%203.2)%2C%20ylim%3D(-0.9%2C%204.1))%0A%20%20%20%20_axes%5B0%2C%201%5D.plot(_beta_grid%2C%20_cost_grid%2C%20color%3Dcost_color%2C%20linewidth%3D2.0)%0A%20%20%20%20_axes%5B0%2C%201%5D.axvline(_best_beta%2C%20color%3Dchosen_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6)%0A%20%20%20%20_axes%5B0%2C%201%5D.set(xlabel%3Dr%22%24%5Cbeta_1%24%22%2C%20ylabel%3D%22Cost%22%2C%20xlim%3D(-1.0%2C%202.5)%2C%20ylim%3D(0.0%2C%20_y_limit))%0A%20%20%20%20_axes%5B1%2C%200%5D.plot(_beta_grid%2C%20_mse_grid%2C%20color%3Dmse_color%2C%20linewidth%3D2.0)%0A%20%20%20%20_axes%5B1%2C%200%5D.axvline(_best_beta%2C%20color%3Dchosen_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6)%0A%20%20%20%20_axes%5B1%2C%200%5D.set(xlabel%3Dr%22%24%5Cbeta_1%24%22%2C%20ylabel%3D%22MSE%22%2C%20xlim%3D(-1.0%2C%202.5)%2C%20ylim%3D(0.0%2C%20_y_limit))%0A%20%20%20%20_axes%5B1%2C%201%5D.plot(_beta_grid%2C%20_penalty_grid%2C%20color%3Dpenalty_color%2C%20linewidth%3D2.0)%0A%20%20%20%20_axes%5B1%2C%201%5D.axvline(_best_beta%2C%20color%3Dchosen_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6)%0A%20%20%20%20_axes%5B1%2C%201%5D.set(xlabel%3Dr%22%24%5Cbeta_1%24%22%2C%20ylabel%3Dr%22%24%5Clambda%20%5Ctimes%24%20penalty%22%2C%20xlim%3D(-1.0%2C%202.5)%2C%20ylim%3D(0.0%2C%20_y_limit))%0A%20%20%20%20_fig%20%3D%20finish_figure(_fig)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs3_penalty%2C%20s3_lambda%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Optimal%20beta1%22%2C%20f%22%7B_best_beta%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22MSE%20at%20optimum%22%2C%20f%22%7Bmse_1p(_best_beta)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22%CE%BB%20%C3%97%20penalty%22%2C%20f%22%7Bpenalty_contribution(np.array(%5B_best_beta%5D)%2C%20_lambda_value%2C%20_penalty)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Cost%20at%20optimum%22%2C%20f%22%7Bcost_1p(_best_beta%2C%20_lambda_value%2C%20_penalty)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%223.%20Regularization%20with%20one%20coefficient%3A%20Adding%20a%20Penalty%20to%20the%20Loss%20to%20avoid%20Overfitting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Regularization%20adds%20a%20penalty%20term%20to%20the%20objective%20that%20discourages%20overly%20large%20coefficients.%20Here%20we%20show%20the%20case%20with%20one%20predictor%20to%20build%20the%20understanding.%20But%20regularization%20is%20useful%20when%20you%20have%20many%20predictors.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20form%20is%20still%20fixed%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%7By%7D%20%3D%20%5Cbeta_1%20x%20%5Cquad%20(%5Cbeta_0%20%3D%200)%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20still%20want%20to%20find%20the%20best%20coefficient%20value.%20What%20changes%20is%20the%20loss%20we%20minimize%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%5C%5B%5Ctext%7BLoss%7D%20%3D%20%5Cmathrm%7BMSE%7D%20%2B%20%5Clambda%20%5Ctimes%20%5Ctext%7Bpenalty%7D%5C%5D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20can%20minimize%20this%20loss%20with%20optimization%20methods%20similar%20to%20gradient%20descent.%20MSE%20still%20measures%20how%20well%20the%20line%20matches%20the%20observed%20data.%20The%20penalty%20term%20that%20discourages%20large%20coefficients.%20Changing%20%24%5C%5Clambda%24%20does%20not%20move%20the%20MSE%20curve.%20It%20changes%20how%20strongly%20coefficient%20size%20is%20punished.%20In%20plain%20language%2C%20the%20model%20now%20has%20to%20balance%20fit%20(MSE)%20on%20training%20data%20against%20coefficient%20size.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22There%20are%20two%20main%20ways%20to%20discourage%20large%20coefficients%2C%20using%20Ridge%20(L2)%20or%20LASSO%20(L1).%20Ridge%20penalizes%20the%20square%20value%20of%20the%20coefficients.%20LASSO%20the%20absolute%20value%20of%20the%20coefficients.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%24L_%7B%5Cmathrm%7Bridge%7D%7D(%5Cbeta_1)%20%3D%20%5Cmathrm%7BMSE%7D(%5Cbeta_1)%20%2B%20%5Clambda%20%5Cbeta_1%5E2%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%24L_%7B%5Cmathrm%7Blasso%7D%7D(%5Cbeta_1)%20%3D%20%5Cmathrm%7BMSE%7D(%5Cbeta_1)%20%2B%20%5Clambda%20%7C%5Cbeta_1%7C%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22Read%20the%20plots%20together%3A%20the%20**top-left**%20plot%20shows%20the%20fitted%20line%2C%20while%20the%20other%20three%20plots%20show%20how%20each%20value%20of%20%24%5Cbeta_1%24%20changes%20the%20**MSE**%2C%20the%20**penalty**%2C%20and%20the%20combined%20**total%20cost**.%20The%20dashed%20vertical%20line%20marks%20the%20selected%2Foptimal%20%24%5Cbeta_1%24%2C%20where%20the%20regularized%20objective%20is%20minimized.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22%24%5C%5Clambda%24%20only%20acts%20through%20the%20penalty%20term.%20That%20is%20why%20the%20cost%20minimum%20can%20move%20even%20though%20the%20MSE%20curve%20stays%20the%20same.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22When%20%24%5C%5Clambda%24%20gets%20larger%2C%20what%20happens%20to%20the%20penalty%20term%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20do%20larger%20%24%5C%5Clambda%24%20values%20pull%20coefficients%20toward%20zero%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s4_controls(mo)%3A%0A%20%20%20%20s4_penalty%20%3D%20mo.ui.radio(options%3D%5B%22Ridge%20(L2)%22%2C%20%22LASSO%20(L1)%22%5D%2C%20value%3D%22LASSO%20(L1)%22%2C%20label%3D%22Penalty%22)%0A%20%20%20%20s4_lambda%20%3D%20mo.ui.slider(0.0%2C%2010.0%2C%20value%3D1.00%2C%20step%3D0.05%2C%20label%3D%22Lambda%22)%0A%20%20%20%20return%20s4_lambda%2C%20s4_penalty%0A%0A%0A%40app.cell%0Adef%20s4_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20cost_2p%2C%0A%20%20%20%20data_color%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse_2p%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s4_lambda%2C%0A%20%20%20%20s4_penalty%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20x_two%2C%0A%20%20%20%20y_two%2C%0A)%3A%0A%20%20%20%20_penalty%20%3D%20%22ridge%22%20if%20s4_penalty.value%20%3D%3D%20%22Ridge%20(L2)%22%20else%20%22lasso%22%0A%20%20%20%20_lambda_value%20%3D%20float(s4_lambda.value)%0A%20%20%20%20_beta0_grid%20%3D%20np.linspace(-1.0%2C%201.55%2C%20320)%0A%20%20%20%20_beta1_grid%20%3D%20np.linspace(-1.0%2C%201.75%2C%20320)%0A%20%20%20%20_beta0_mesh%2C%20_beta1_mesh%20%3D%20np.meshgrid(_beta0_grid%2C%20_beta1_grid)%0A%20%20%20%20_mse_surface%20%3D%20np.zeros_like(_beta0_mesh)%0A%20%20%20%20for%20_index%20in%20range(len(x_two))%3A%0A%20%20%20%20%20%20%20%20_mse_surface%20%2B%3D%20(y_two%5B_index%5D%20-%20_beta0_mesh%20-%20_beta1_mesh%20*%20x_two%5B_index%5D)%20**%202%0A%20%20%20%20_mse_surface%20%2F%3D%20len(x_two)%0A%20%20%20%20if%20_penalty%20%3D%3D%20%22ridge%22%3A%0A%20%20%20%20%20%20%20%20_penalty_surface%20%3D%20_lambda_value%20*%20(_beta0_mesh**2%20%2B%20_beta1_mesh**2)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_penalty_surface%20%3D%20_lambda_value%20*%20(np.abs(_beta0_mesh)%20%2B%20np.abs(_beta1_mesh))%0A%20%20%20%20_cost_surface%20%3D%20_mse_surface%20%2B%20_penalty_surface%0A%20%20%20%20_best_index%20%3D%20np.unravel_index(int(np.argmin(_cost_surface))%2C%20_cost_surface.shape)%0A%20%20%20%20_best_beta0%20%3D%20float(_beta0_mesh%5B_best_index%5D)%0A%20%20%20%20_best_beta1%20%3D%20float(_beta1_mesh%5B_best_index%5D)%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(6.25%2C%204.55))%0A%20%20%20%20_x_line%20%3D%20np.linspace(-0.2%2C%203.2%2C%20120)%0A%20%20%20%20_axes%5B0%2C%200%5D.scatter(x_two%2C%20y_two%2C%20color%3Ddata_color%2C%20s%3D50%2C%20zorder%3D5)%0A%20%20%20%20_axes%5B0%2C%200%5D.plot(_x_line%2C%20_best_beta0%20%2B%20_best_beta1%20*%20_x_line%2C%20color%3Dchosen_color%2C%20linewidth%3D2.5)%0A%20%20%20%20_axes%5B0%2C%200%5D.set(xlabel%3D%22x%22%2C%20ylabel%3D%22y%22%2C%20xlim%3D(-0.2%2C%203.2)%2C%20ylim%3D(-0.1%2C%205.2))%0A%20%20%20%20_surface_specs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(_axes%5B0%2C%201%5D%2C%20_cost_surface%2C%20%22Cost%22)%2C%0A%20%20%20%20%20%20%20%20(_axes%5B1%2C%200%5D%2C%20_mse_surface%2C%20%22MSE%22)%2C%0A%20%20%20%20%20%20%20%20(_axes%5B1%2C%201%5D%2C%20_penalty_surface%2C%20r%22%24%5Clambda%20%5Ctimes%24%20penalty%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_common_levels%20%3D%20np.linspace(0.0%2C%2015.0%2C%2051)%0A%20%20%20%20for%20_axis%2C%20_surface%2C%20_label%20in%20_surface_specs%3A%0A%20%20%20%20%20%20%20%20_contour_fill%20%3D%20_axis.contourf(%0A%20%20%20%20%20%20%20%20%20%20%20%20_beta0_mesh%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_beta1_mesh%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_surface%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20levels%3D_common_levels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cmap%3D%22Blues_r%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20extend%3D%22max%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20float(np.max(_surface))%20%3E%20float(np.min(_surface))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_axis.contour(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_beta0_mesh%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_beta1_mesh%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_surface%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20levels%3D_common_levels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colors%3D%22%23FFFFFF%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidths%3D0.34%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.62%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_axis.scatter(%5B_best_beta0%5D%2C%20%5B_best_beta1%5D%2C%20color%3Dchosen_color%2C%20marker%3D%22*%22%2C%20s%3D82%2C%20zorder%3D6)%0A%20%20%20%20%20%20%20%20_axis.set(xlabel%3Dr%22%24%5Cbeta_0%24%22%2C%20ylabel%3Dr%22%24%5Cbeta_1%24%22)%0A%20%20%20%20%20%20%20%20_axis.text(0.02%2C%200.96%2C%20_label%2C%20transform%3D_axis.transAxes%2C%20ha%3D%22left%22%2C%20va%3D%22top%22%2C%20fontsize%3D9%2C%20color%3D%22%232F3441%22)%0A%20%20%20%20_fig.tight_layout(pad%3D0.75%2C%20w_pad%3D0.75%2C%20h_pad%3D0.90%2C%20rect%3D%5B0.0%2C%200.0%2C%200.91%2C%201.0%5D)%0A%20%20%20%20_cbar_ax%20%3D%20_fig.add_axes(%5B0.925%2C%200.18%2C%200.018%2C%200.64%5D)%0A%20%20%20%20_cbar%20%3D%20_fig.colorbar(_contour_fill%2C%20cax%3D_cbar_ax)%0A%20%20%20%20_cbar.set_label(%22Surface%20value%20(capped%20at%2015)%22%2C%20fontsize%3D8)%0A%20%20%20%20_cbar.ax.tick_params(labelsize%3D7)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs4_penalty%2C%20s4_lambda%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Optimal%20beta0%22%2C%20f%22%7B_best_beta0%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Optimal%20beta1%22%2C%20f%22%7B_best_beta1%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22MSE%20at%20optimum%22%2C%20f%22%7Bmse_2p(_best_beta0%2C%20_best_beta1)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Cost%20at%20optimum%22%2C%20f%22%7Bcost_2p(_best_beta0%2C%20_best_beta1%2C%20_lambda_value%2C%20_penalty)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%224.%20Regularization%20with%20two%20coefficients%3A%20Adding%20a%20Penalty%20to%20the%20Loss%20to%20avoid%20Overfitting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20form%20is%20still%20fixed%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%7By%7D%20%3D%20%5Cbeta_0%20%2B%20%5Cbeta_1%20x%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20still%20want%20to%20find%20the%20best%20values%20of%20%24%5C%5Cbeta_0%24%20and%20%24%5C%5Cbeta_1%24.%20The%20loss%20we%20minimize%20is%20still%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Ctext%7BLoss%7D%20%3D%20%5Cmathrm%7BMSE%7D%20%2B%20%5Clambda%20%5Ctimes%20%5Ctext%7Bpenalty%7D%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22With%20two%20coefficients%2C%20the%20penalty%20becomes%20a%20surface.%20Ridge%20makes%20that%20surface%20smooth%20and%20round%2C%20while%20lasso%20makes%20it%20as%20a%20diamond.%20This%20helps%20explain%20why%20lasso%20can%20set%20coefficients%20exactly%20to%20zero%2C%20while%20ridge%20usually%20shrinks%20coefficients%20without%20making%20them%20exactly%20zero.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22Ridge%3A%20%24L_%7B%5Cmathrm%7Bridge%7D%7D(%5Cbeta_1)%20%3D%20%5Cmathrm%7BMSE%7D(%5Cbeta_1)%20%2B%20%5Clambda%20%5Cbeta_1%5E2%24%22%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22LASSO%3A%20%24L_%7B%5Cmathrm%7Blasso%7D%7D(%5Cbeta_1)%20%3D%20%5Cmathrm%7BMSE%7D(%5Cbeta_1)%20%2B%20%5Clambda%20%7C%5Cbeta_1%7C%24%22%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22Read%20the%20plots%20together%3A%20the%20**top-left**%20plot%20shows%20the%20fitted%20line%2C%20while%20the%20other%20three%20plots%20show%20how%20the%20%24%5Cbeta%24s%20changes%20the%20**MSE**%2C%20the%20**penalty**%2C%20and%20the%20combined%20**total%20cost**.%20The%20star%20marks%20the%20selected%2Foptimal%20%24%5Cbeta%24s%2C%20where%20the%20regularized%20objective%20is%20minimized.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Important%20simplification.**%20In%20real%20regularized%20regression%2C%20the%20intercept%20is%20usually%20**not**%20penalized.%20This%20display%20penalizes%20both%20coefficients%20only%20for%20didactic%20purposes%3A%20it%20lets%20you%20see%20how%20the%20whole%20fitted%20line%20moves%20as%20the%20penalty%20geometry%20changes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22The%20minimum%20is%20shown%20on%20each%20surface.%20In%20practice%2C%20penalizing%20the%20slope%20is%20the%20main%20modeling%20idea%3B%20penalizing%20the%20intercept%20here%20is%20a%20visualization%20choice.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22The%20penalty%20shape%20helps%20explain%20why%20lasso%20can%20remove%20variables%20and%20ridge%20usually%20keeps%20them%20with%20smaller%20coefficients.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20does%20lasso%20often%20produce%20exact%20zeros%20while%20ridge%20usually%20only%20shrinks%20coefficients%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s5_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s5_penalty%20%3D%20mo.ui.radio(options%3D%5B%22Ridge%20(L2)%22%2C%20%22LASSO%20(L1)%22%5D%2C%20value%3D%22LASSO%20(L1)%22%2C%20label%3D%22Penalty%22)%0A%20%20%20%20s5_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s5_penalty%2C%20s5_recreate%0A%0A%0A%40app.cell%0Adef%20s5_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20coef_palette%2C%0A%20%20%20%20coefficient_path_rows%2C%0A%20%20%20%20coefficient_summary%2C%0A%20%20%20%20evaluate_lambda_grid%2C%0A%20%20%20%20finish_figure%2C%0A%20%20%20%20fit_model%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s5_penalty%2C%0A%20%20%20%20s5_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20simulate_selection_data%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20train_color%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20valid_color%2C%0A)%3A%0A%20%20%20%20_dataset%20%3D%20simulate_selection_data(n_samples%3D50%2C%20seed%3D2040%20%2B%20int(s5_recreate.value%20or%200))%0A%20%20%20%20_X%20%3D%20np.asarray(_dataset%5B%22X%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_y%20%3D%20np.asarray(_dataset%5B%22y%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_names%20%3D%20list(_dataset%5B%22names%22%5D)%0A%20%20%20%20_penalty%20%3D%20%22ridge%22%20if%20s5_penalty.value%20%3D%3D%20%22Ridge%20(L2)%22%20else%20%22lasso%22%0A%20%20%20%20_lambdas%20%3D%20np.unique(np.concatenate(%5Bnp.geomspace(0.02%2C%2010.0%2C%2042)%2C%20np.array(%5B1.0%5D)%5D))%0A%20%20%20%20_rows%2C%20(_train_idx%2C%20_valid_idx%2C%20_test_idx)%20%3D%20evaluate_lambda_grid(_X%2C%20_y%2C%20_lambdas%2C%20penalty%3D_penalty%2C%20split_seed%3D19%2C%20standardize%3DTrue)%0A%20%20%20%20_best_row%20%3D%20min(_rows%2C%20key%3Dlambda%20row%3A%20row%5B%22validation_mse%22%5D)%0A%20%20%20%20_best_lambda%20%3D%20float(_best_row%5B%22lambda%22%5D)%0A%20%20%20%20_best_model%20%3D%20fit_model(_X%5B_train_idx%5D%2C%20_y%5B_train_idx%5D%2C%20penalty%3D_penalty%2C%20lambda_value%3D_best_lambda%2C%20standardize%3DTrue)%0A%20%20%20%20_coef%20%3D%20np.asarray(_best_model%5B%22beta%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_path_rows%20%3D%20coefficient_path_rows(%0A%20%20%20%20%20%20%20%20_X%5B_train_idx%5D%2C%0A%20%20%20%20%20%20%20%20_y%5B_train_idx%5D%2C%0A%20%20%20%20%20%20%20%20_names%2C%0A%20%20%20%20%20%20%20%20_lambdas%2C%0A%20%20%20%20%20%20%20%20penalty%3D_penalty%2C%0A%20%20%20%20%20%20%20%20standardize%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_fig%2C%20(_ax_curve%2C%20_ax_coef)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6.15%2C%202.85))%0A%20%20%20%20_ax_curve.semilogx(_lambdas%2C%20%5Brow%5B%22train_mse%22%5D%20for%20row%20in%20_rows%5D%2C%20color%3Dtrain_color%2C%20linewidth%3D2.0%2C%20label%3D%22Training%20MSE%22)%0A%20%20%20%20_ax_curve.semilogx(_lambdas%2C%20%5Brow%5B%22validation_mse%22%5D%20for%20row%20in%20_rows%5D%2C%20color%3Dvalid_color%2C%20linewidth%3D2.2%2C%20label%3D%22Validation%20MSE%22)%0A%20%20%20%20_ax_curve.axvline(_best_lambda%2C%20color%3Dchosen_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.8)%0A%20%20%20%20_ax_curve.set(xlabel%3D%22Lambda%22%2C%20ylabel%3D%22MSE%22)%0A%20%20%20%20_ax_curve.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D7.5)%0A%20%20%20%20for%20_index%2C%20_name%20in%20enumerate(_names)%3A%0A%20%20%20%20%20%20%20%20_series%20%3D%20%5Bfloat(row%5B%22beta%22%5D)%20for%20row%20in%20_path_rows%20if%20row%5B%22name%22%5D%20%3D%3D%20_name%5D%0A%20%20%20%20%20%20%20%20_ax_coef.semilogx(_lambdas%2C%20_series%2C%20linewidth%3D2.0%2C%20color%3Dcoef_palette%5B_index%20%25%20len(coef_palette)%5D%2C%20label%3D_name)%0A%20%20%20%20_ax_coef.axvline(_best_lambda%2C%20color%3Dchosen_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6)%0A%20%20%20%20_ax_coef.axhline(0.0%2C%20color%3D%22%238A98A8%22%2C%20linewidth%3D1.0)%0A%20%20%20%20_ax_coef.set(xlabel%3D%22Lambda%22%2C%20ylabel%3D%22Coefficient%22)%0A%20%20%20%20_ax_coef.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D7.5)%0A%20%20%20%20_fig%20%3D%20finish_figure(_fig)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs5_penalty%2C%20s5_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Sample%20size%22%2C%20f%22%7Blen(_X)%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Chosen%20lambda%22%2C%20f%22%7B_best_lambda%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Validation%20MSE%22%2C%20f%22%7B_best_row%5B'validation_mse'%5D%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Chosen%20coefficients%22%2C%20coefficient_summary(_coef%2C%20_names))%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%225.%20Choosing%20Lambda%20with%20Validation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Now%20the%20question%20is%20not%20how%20to%20fit%20coefficients%2C%20but%20which%20regularization%20strength%20generalizes%20best.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Let's%20imagine%20we%20have%20some%20data%2C%20with%20five%20variables%20(Signal%2C%20Copy%2C%20Noise1%2C%20Noise2%2C%20Noise3).%20One%20true%20signal%2C%20one%20correlated%20copy%20of%20that%20signal%2C%20and%20three%20pure%20noise%20variables%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%5C%5By%20%3D%201%20%2B%201.8%5C%2C%5Cmathrm%7BSignal%7D%20%2B%20%5Cvarepsilon%2C%5Cqquad%20%5Cmathrm%7BCopy%7D%20%3D%200.88%5C%2C%5Cmathrm%7BSignal%7D%20%2B%20%5Ceta%5C%5D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%60Copy%60%20is%20deliberately%20similar%20to%20%60Signal%60%2C%20but%20it%20is%20not%20part%20of%20the%20true%20equation%20for%20%60y%60.%20The%20noise%20variables%20are%20unrelated%20to%20%60y%60.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20will%20fit%20models%20using%20%60Signal%60%2C%20%60Copy%60%2C%20and%20the%20noise%20variables%2C%20then%20try%20to%20estimate%20the%20true%20prediction%20pattern%20from%20data.%20A%20standard%20linear%20regression%20would%20give%20a%20coefficient%20to%20each%20predictor%20(i.e.%2C%20will%20overfit).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22For%20each%20candidate%20lambda%2C%20we%20fit%20the%20model%20on%20the%20training%20data%20to%20minimize%20the%20loss%20and%20choose%20among%20the%20candidates%20using%20**validation%20MSE**%20(i.e.%20not%20the%20loss).%20Regularization%20makes%20the%20model%20generalize%20better%20(plot%20in%20the%20left).%20The%20right%20plot%20shows%20how%20the%20coefficients%20change%20as%20lambda%20grows.%20In%20plain%20language%2C%20lambda%20is%20a%20complexity%20dial%3A%20low%20lambda%20gives%20the%20model%20more%20freedom%2C%20high%20lambda%20restrains%20it.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%24%5Clambda%5E*%20%3D%20%5Carg%5Cmin_%7B%5Clambda%7D%5C%20%5Cmathrm%7BMSE%7D_%7B%5Cmathrm%7Bvalidation%7D%7D(%5Clambda)%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22Validation%20MSE%20is%20useful%20for%20choosing%20among%20candidate%20lambdas.%20Once%20it%20has%20influenced%20the%20choice%2C%20it%20is%20no%20longer%20a%20clean%20final%20estimate%20of%20generalization%20error.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Lambda%20should%20be%20chosen%20with%20unseen-data%20prediction%20error%2C%20not%20with%20training%20error%20and%20not%20with%20the%20penalized%20cost%20itself.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20is%20lambda%20chosen%20with%20validation%20MSE%20rather%20than%20with%20validation%20cost%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20happens%20to%20model%20complexity%20as%20lambda%20gets%20larger%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s6_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s6_penalty%20%3D%20mo.ui.radio(options%3D%5B%22Ridge%20(L2)%22%2C%20%22LASSO%20(L1)%22%5D%2C%20value%3D%22LASSO%20(L1)%22%2C%20label%3D%22Penalty%22)%0A%20%20%20%20s6_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s6_penalty%2C%20s6_recreate%0A%0A%0A%40app.cell%0Adef%20s6_section(%0A%20%20%20%20evaluate_lambda_grid%2C%0A%20%20%20%20finish_figure%2C%0A%20%20%20%20fit_model%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s6_penalty%2C%0A%20%20%20%20s6_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20simulate_selection_data%2C%0A%20%20%20%20split_a_color%2C%0A%20%20%20%20split_b_color%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A)%3A%0A%20%20%20%20_dataset%20%3D%20simulate_selection_data(n_samples%3D100%2C%20seed%3D2110%20%2B%20int(s6_recreate.value%20or%200))%0A%20%20%20%20_X%20%3D%20np.asarray(_dataset%5B%22X%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_y%20%3D%20np.asarray(_dataset%5B%22y%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_names%20%3D%20list(_dataset%5B%22names%22%5D)%0A%20%20%20%20_penalty%20%3D%20%22ridge%22%20if%20s6_penalty.value%20%3D%3D%20%22Ridge%20(L2)%22%20else%20%22lasso%22%0A%20%20%20%20_lambdas%20%3D%20np.geomspace(0.02%2C%202.50%2C%2034)%0A%20%20%20%20_split_a%2C%20(_train_a%2C%20_valid_a%2C%20_test_a)%20%3D%20evaluate_lambda_grid(_X%2C%20_y%2C%20_lambdas%2C%20penalty%3D_penalty%2C%20split_seed%3D19%2C%20standardize%3DTrue)%0A%20%20%20%20_split_b%2C%20(_train_b%2C%20_valid_b%2C%20_test_b)%20%3D%20evaluate_lambda_grid(_X%2C%20_y%2C%20_lambdas%2C%20penalty%3D_penalty%2C%20split_seed%3D41%2C%20standardize%3DTrue)%0A%20%20%20%20_best_a%20%3D%20min(_split_a%2C%20key%3Dlambda%20row%3A%20row%5B%22validation_mse%22%5D)%0A%20%20%20%20_best_b%20%3D%20min(_split_b%2C%20key%3Dlambda%20row%3A%20row%5B%22validation_mse%22%5D)%0A%20%20%20%20_model_a%20%3D%20fit_model(_X%5B_train_a%5D%2C%20_y%5B_train_a%5D%2C%20penalty%3D_penalty%2C%20lambda_value%3Dfloat(_best_a%5B%22lambda%22%5D)%2C%20standardize%3DTrue)%0A%20%20%20%20_model_b%20%3D%20fit_model(_X%5B_train_b%5D%2C%20_y%5B_train_b%5D%2C%20penalty%3D_penalty%2C%20lambda_value%3Dfloat(_best_b%5B%22lambda%22%5D)%2C%20standardize%3DTrue)%0A%20%20%20%20_coef_a%20%3D%20np.asarray(_model_a%5B%22beta%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_coef_b%20%3D%20np.asarray(_model_b%5B%22beta%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_fig%2C%20(_ax_curve%2C%20_ax_coef)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6.15%2C%202.85))%0A%20%20%20%20_ax_curve.semilogx(_lambdas%2C%20%5Brow%5B%22validation_mse%22%5D%20for%20row%20in%20_split_a%5D%2C%20color%3Dsplit_a_color%2C%20linewidth%3D2.0%2C%20label%3D%22Split%20A%22)%0A%20%20%20%20_ax_curve.semilogx(_lambdas%2C%20%5Brow%5B%22validation_mse%22%5D%20for%20row%20in%20_split_b%5D%2C%20color%3Dsplit_b_color%2C%20linewidth%3D2.0%2C%20label%3D%22Split%20B%22)%0A%20%20%20%20_ax_curve.axvline(float(_best_a%5B%22lambda%22%5D)%2C%20color%3Dsplit_a_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.4%2C%20alpha%3D0.85)%0A%20%20%20%20_ax_curve.axvline(float(_best_b%5B%22lambda%22%5D)%2C%20color%3Dsplit_b_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.4%2C%20alpha%3D0.85)%0A%20%20%20%20_ax_curve.set(xlabel%3D%22Lambda%22%2C%20ylabel%3D%22Validation%20MSE%22)%0A%20%20%20%20_ax_curve.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D7.8)%0A%20%20%20%20_positions%20%3D%20np.arange(len(_names))%0A%20%20%20%20_bar_width%20%3D%200.36%0A%20%20%20%20_ax_coef.bar(_positions%20-%20_bar_width%20%2F%202%2C%20_coef_a%2C%20color%3Dsplit_a_color%2C%20width%3D_bar_width%2C%20label%3D%22Split%20A%22)%0A%20%20%20%20_ax_coef.bar(_positions%20%2B%20_bar_width%20%2F%202%2C%20_coef_b%2C%20color%3Dsplit_b_color%2C%20width%3D_bar_width%2C%20label%3D%22Split%20B%22)%0A%20%20%20%20_ax_coef.axhline(0.0%2C%20color%3D%22%238A98A8%22%2C%20linewidth%3D1.0)%0A%20%20%20%20_ax_coef.set_xticks(_positions)%0A%20%20%20%20_ax_coef.set_xticklabels(_names%2C%20rotation%3D25%2C%20ha%3D%22right%22%2C%20fontsize%3D8)%0A%20%20%20%20_ax_coef.set_ylabel(%22Coefficient%22)%0A%20%20%20%20_ax_coef.legend(loc%3D%22upper%20right%22%2C%20fontsize%3D7.8)%0A%20%20%20%20_fig%20%3D%20finish_figure(_fig)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs6_penalty%2C%20s6_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Split%20A%20lambda%22%2C%20f%22%7B_best_a%5B'lambda'%5D%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Split%20B%20lambda%22%2C%20f%22%7B_best_b%5B'lambda'%5D%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%226.%20Why%20One%20Validation%20Split%20Can%20Mislead%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22One%20train-validation%20split%20can%20make%20lambda%20selection%20look%20more%20certain%20than%20it%20really%20is.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20uses%20the%20same%20kind%20of%20synthetic%20data%20as%20the%20previous%20section%3A%20one%20real%20signal%2C%20a%20correlated%20copy%2C%20and%20several%20noise%20variables.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Both%20curves%20in%20the%20plots%20come%20from%20the%20same%20dataset.%20The%20only%20difference%20is%20which%20observations%20happened%20to%20land%20in%20the%20validation%20set.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22When%20the%20chosen%20lambda%20changes%20across%20plausible%20splits%2C%20that%20is%20a%20warning%20sign%20that%20a%20single%20validation%20split%20is%20not%20stable%20enough%20to%20trust%20on%20its%20own.%20In%20plain%20language%2C%20the%20split%20can%20be%20a%20little%20lucky%20or%20unlucky.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22The%20underlying%20data%20are%20unchanged.%20Only%20the%20train-validation%20split%20moved.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22If%20two%20reasonable%20validation%20splits%20recommend%20different%20lambdas%2C%20the%20safer%20response%20is%20to%20average%20over%20more%20splits.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20can%20one%20train-validation%20split%20give%20an%20unstable%20lambda%20choice%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20does%20disagreement%20between%20splits%20tell%20you%20about%20uncertainty%20in%20model%20selection%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s7_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s7_penalty%20%3D%20mo.ui.radio(options%3D%5B%22Ridge%20(L2)%22%2C%20%22LASSO%20(L1)%22%5D%2C%20value%3D%22LASSO%20(L1)%22%2C%20label%3D%22Penalty%22)%0A%20%20%20%20s7_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s7_penalty%2C%20s7_recreate%0A%0A%0A%40app.cell%0Adef%20s7_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20coefficient_summary%2C%0A%20%20%20%20cost_color%2C%0A%20%20%20%20cv_color%2C%0A%20%20%20%20evaluate_cv_grid%2C%0A%20%20%20%20finish_figure%2C%0A%20%20%20%20fit_model%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s7_penalty%2C%0A%20%20%20%20s7_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20selected_variables%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20simulate_selection_data%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A)%3A%0A%20%20%20%20_dataset%20%3D%20simulate_selection_data(n_samples%3D100%2C%20seed%3D2210%20%2B%20int(s7_recreate.value%20or%200))%0A%20%20%20%20_X%20%3D%20np.asarray(_dataset%5B%22X%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_y%20%3D%20np.asarray(_dataset%5B%22y%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_names%20%3D%20list(_dataset%5B%22names%22%5D)%0A%20%20%20%20_penalty%20%3D%20%22ridge%22%20if%20s7_penalty.value%20%3D%3D%20%22Ridge%20(L2)%22%20else%20%22lasso%22%0A%20%20%20%20_lambdas%20%3D%20np.geomspace(0.02%2C%202.50%2C%2034)%0A%20%20%20%20_cv_rows%20%3D%20evaluate_cv_grid(_X%2C%20_y%2C%20_lambdas%2C%20penalty%3D_penalty%2C%20n_splits%3D5%2C%20seed%3D13%2C%20standardize%3DTrue)%0A%20%20%20%20_best_cv%20%3D%20min(_cv_rows%2C%20key%3Dlambda%20row%3A%20row%5B%22cv_mse%22%5D)%0A%20%20%20%20_best_lambda%20%3D%20float(_best_cv%5B%22lambda%22%5D)%0A%20%20%20%20_final_model%20%3D%20fit_model(_X%2C%20_y%2C%20penalty%3D_penalty%2C%20lambda_value%3D_best_lambda%2C%20standardize%3DTrue)%0A%20%20%20%20_coef%20%3D%20np.asarray(_final_model%5B%22beta%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_fig%2C%20(_ax_curve%2C%20_ax_coef)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6.15%2C%202.85))%0A%20%20%20%20_ax_curve.semilogx(_lambdas%2C%20%5Brow%5B%22cv_mse%22%5D%20for%20row%20in%20_cv_rows%5D%2C%20color%3Dcv_color%2C%20linewidth%3D2.25)%0A%20%20%20%20_ax_curve.axvline(_best_lambda%2C%20color%3Dcost_color%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.8)%0A%20%20%20%20_ax_curve.set(xlabel%3D%22Lambda%22%2C%20ylabel%3D%22CV%20MSE%22)%0A%20%20%20%20_positions%20%3D%20np.arange(len(_names))%0A%20%20%20%20_ax_coef.bar(_positions%2C%20_coef%2C%20color%3D%5Bchosen_color%20if%20abs(value)%20%3E%201e-5%20else%20%22%23BFC9D4%22%20for%20value%20in%20_coef%5D%2C%20width%3D0.65)%0A%20%20%20%20_ax_coef.axhline(0.0%2C%20color%3D%22%238A98A8%22%2C%20linewidth%3D1.0)%0A%20%20%20%20_ax_coef.set_xticks(_positions)%0A%20%20%20%20_ax_coef.set_xticklabels(_names)%0A%20%20%20%20_ax_coef.set_ylabel(%22Coefficient%22)%0A%20%20%20%20_fig%20%3D%20finish_figure(_fig)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs7_penalty%2C%20s7_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22CV%20lambda%22%2C%20f%22%7B_best_lambda%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Best%20CV%20MSE%22%2C%20f%22%7B_best_cv%5B'cv_mse'%5D%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Selected%20variables%22%2C%20%22%2C%20%22.join(selected_variables(_coef%2C%20_names))%20or%20%22Intercept%20only%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Final%20coefficients%22%2C%20coefficient_summary(_coef%2C%20_names))%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%227.%20Choosing%20Lambda%20with%20Cross-Validation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cross-validation%20averages%20several%20validation%20roles%20before%20one%20lambda%20choice%20is%20made.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cross-validation%20is%20preferred%20because%20it%20averages%20over%20several%20train-validation%20splits%20before%20one%20lambda%20choice%20is%20made.%20Instead%20of%20trusting%20one%20arbitrary%20validation%20split%2C%20it%20rotates%20which%20observations%20play%20the%20validation%20role%20and%20gives%20a%20more%20stable%20estimate%20of%20out-of-sample%20performance.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22After%20choosing%20lambda%2C%20we%20fit%20one%20final%20model%20using%20all%20available%20training%20data.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22Cross-validation%20is%20for%20model%20selection.%20A%20separate%20held-out%20test%20set%2C%20if%20available%2C%20is%20still%20for%20the%20final%20audit%20after%20the%20choice%20is%20made.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Cross-validation%20usually%20gives%20a%20steadier%20lambda%20choice%20because%20it%20does%20not%20depend%20on%20one%20validation%20split.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20does%20k-fold%20cross-validation%20reduce%20dependence%20on%20one%20arbitrary%20split%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22After%20cross-validation%20chooses%20lambda%2C%20what%20is%20the%20held-out%20test%20set%20still%20for%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s8_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s8_lambda%20%3D%20mo.ui.slider(0.20%2C%205.0%2C%20value%3D0.80%2C%20step%3D0.05%2C%20label%3D%22Lambda%20(lasso)%22)%0A%20%20%20%20s8_recreate%20%3D%20counter_button(label%3D%22Recreate%20scaled%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s8_lambda%2C%20s8_recreate%0A%0A%0A%40app.cell%0Adef%20s8_section(%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20finish_figure%2C%0A%20%20%20%20fit_lasso%2C%0A%20%20%20%20lasso_color%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s8_lambda%2C%0A%20%20%20%20s8_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20selected_variables%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20simulate_scaled_data%2C%0A%20%20%20%20split_indices%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A)%3A%0A%20%20%20%20_dataset%20%3D%20simulate_scaled_data(seed%3D45%20%2B%20int(s8_recreate.value%20or%200))%0A%20%20%20%20_X%20%3D%20np.asarray(_dataset%5B%22X%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_y%20%3D%20np.asarray(_dataset%5B%22y%22%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_names%20%3D%20list(_dataset%5B%22names%22%5D)%0A%20%20%20%20_lambda_value%20%3D%20float(s8_lambda.value)%0A%20%20%20%20_train_idx%2C%20_%2C%20_%20%3D%20split_indices(len(_X)%2C%20train_frac%3D0.65%2C%20valid_frac%3D0.0%2C%20seed%3D11)%0A%20%20%20%20_no_scale%20%3D%20fit_lasso(_X%5B_train_idx%5D%2C%20_y%5B_train_idx%5D%2C%20lambda_value%3D_lambda_value%2C%20standardize%3DFalse)%0A%20%20%20%20_with_scale%20%3D%20fit_lasso(_X%5B_train_idx%5D%2C%20_y%5B_train_idx%5D%2C%20lambda_value%3D_lambda_value%2C%20standardize%3DTrue)%0A%20%20%20%20_raw_sd%20%3D%20_X%5B_train_idx%5D.std(axis%3D0%2C%20ddof%3D0)%0A%20%20%20%20_effect_no%20%3D%20np.asarray(_no_scale%5B%22beta%22%5D%2C%20dtype%3Dfloat)%20*%20_raw_sd%0A%20%20%20%20_effect_yes%20%3D%20np.asarray(_with_scale%5B%22beta%22%5D%2C%20dtype%3Dfloat)%20*%20_raw_sd%0A%20%20%20%20_effect_limit%20%3D%201.08%20*%20max(float(np.max(np.abs(_effect_no)))%2C%20float(np.max(np.abs(_effect_yes)))%2C%200.5)%0A%20%20%20%20_scale_ratio%20%3D%20float(np.max(_raw_sd)%20%2F%20np.min(_raw_sd))%0A%20%20%20%20_kept_no%20%3D%20%22%2C%20%22.join(selected_variables(_effect_no%2C%20_names%2C%20threshold%3D0.05))%20or%20%22Intercept%20only%22%0A%20%20%20%20_kept_yes%20%3D%20%22%2C%20%22.join(selected_variables(_effect_yes%2C%20_names%2C%20threshold%3D0.05))%20or%20%22Intercept%20only%22%0A%20%20%20%20_fig%2C%20(_ax_no%2C%20_ax_yes)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6.15%2C%202.85))%0A%20%20%20%20_positions%20%3D%20np.arange(len(_names))%0A%20%20%20%20_plot_labels%20%3D%20%5B%22a%20(signal)%5Cnsmall%20units%22%2C%20%22b%20(signal)%5Cnlarge%20units%22%2C%20%22c%20(noise)%5Cnsmall%20units%22%2C%20%22d%20(noise)%5Cnlarge%20units%22%5D%0A%20%20%20%20_colors_no%20%3D%20%5Blasso_color%20if%20abs(value)%20%3E%200.05%20else%20%22%23BFC9D4%22%20for%20value%20in%20_effect_no%5D%0A%20%20%20%20_colors_yes%20%3D%20%5Bchosen_color%20if%20abs(value)%20%3E%200.05%20else%20%22%23BFC9D4%22%20for%20value%20in%20_effect_yes%5D%0A%20%20%20%20_ax_no.bar(_positions%2C%20_effect_no%2C%20color%3D_colors_no%2C%20width%3D0.65)%0A%20%20%20%20_ax_yes.bar(_positions%2C%20_effect_yes%2C%20color%3D_colors_yes%2C%20width%3D0.65)%0A%20%20%20%20for%20_axis%20in%20(_ax_no%2C%20_ax_yes)%3A%0A%20%20%20%20%20%20%20%20_axis.axhline(0.0%2C%20color%3D%22%238A98A8%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20_axis.set_xticks(_positions)%0A%20%20%20%20%20%20%20%20_axis.set_xticklabels(_plot_labels%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20_axis.set_ylabel(%22One-SD%20prediction%20effect%22)%0A%20%20%20%20%20%20%20%20_axis.set_ylim(-0.18%20*%20_effect_limit%2C%20_effect_limit)%0A%20%20%20%20_ax_no.text(0.02%2C%200.96%2C%20%22Without%20standardizing%22%2C%20transform%3D_ax_no.transAxes%2C%20ha%3D%22left%22%2C%20va%3D%22top%22%2C%20fontsize%3D9%2C%20color%3D%22%232F3441%22)%0A%20%20%20%20_ax_yes.text(0.02%2C%200.96%2C%20%22With%20standardizing%22%2C%20transform%3D_ax_yes.transAxes%2C%20ha%3D%22left%22%2C%20va%3D%22top%22%2C%20fontsize%3D9%2C%20color%3D%22%232F3441%22)%0A%20%20%20%20_fig%20%3D%20finish_figure(_fig)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs8_lambda%2C%20s8_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Largest%20%2F%20smallest%20SD%22%2C%20f%22%7B_scale_ratio%3A.0f%7D%C3%97%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Kept%20without%20scaling%22%2C%20_kept_no)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Kept%20with%20scaling%22%2C%20_kept_yes)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%228.%20Standardization%20Makes%20the%20Penalty%20Fair%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Ridge%20and%20lasso%20penalize%20coefficient%20size%2C%20and%20coefficient%20size%20depends%20on%20measurement%20units.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Let's%20use%20another%20synthetic%20dataset.%20This%20synthetic%20example%20has%20two%20useful%20signals%20and%20two%20useless%20noise%20variables.%20The%20true%20signal%20is%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%5C%5By%20%3D%20%5Cbeta_0%20%2B%20%5Cbeta_a%20a%20%2B%20%5Cbeta_b%20b%20%2B%20%5Cvarepsilon%5C%5D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%60a%20(signal)%60%20and%20%60c%20(noise)%60%20are%20stored%20in%20small%20units.%20%60b%20(signal)%60%20and%20%60d%20(noise)%60%20are%20stored%20on%20a%20scale%20about%20100%20times%20larger.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Without%20standardizing%2C%20the%20large-unit%20variables%20can%20change%20predictions%20with%20tiny%20coefficients%2C%20so%20the%20lasso%20penalty%20treats%20them%20as%20artificially%20cheap.%20After%20standardization%2C%20every%20predictor%20has%20mean%200%20and%20standard%20deviation%201%20before%20the%20penalty%20is%20applied.%20In%20plain%20language%2C%20variables%20are%20judged%20on%20comparable%20units%20instead%20of%20on%20the%20accident%20of%20how%20they%20were%20measured.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(mo.as_html(_fig)%2C%20_sidebar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22The%20bars%20show%20the%20effect%20of%20a%20one-standard-deviation%20increase%20in%20each%20predictor.%20In%20a%20real%20workflow%2C%20standardize%20inside%20the%20training%20process%20and%20choose%20lambda%20with%20validation%20or%20cross-validation.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Standardize%20predictors%20before%20ridge%20or%20lasso%20so%20lambda%20penalizes%20predictive%20contribution%20more%20fairly%2C%20not%20measurement%20units.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20does%20converting%20predictors%20to%20mean%200%20and%20standard%20deviation%201%20make%20the%20ridge%20or%20lasso%20penalty%20fairer%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20footer(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20_Javier%20Garcia-Bernardo%20%E2%80%94%20SoDa%20%26%20Utrecht%20University._%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A