How to Choose the Right Predictive Model

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22How%20to%20Choose%20the%20Right%20Predictive%20Model%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20_%20%3D%20alt.data_transformers.disable_max_rows()%0A%20%20%20%20return%20alt%2C%20mo%2C%20np%2C%20pd%0A%0A%0A%40app.cell%0Adef%20theme()%3A%0A%20%20%20%20train_color%20%3D%20%22%232A6F97%22%0A%20%20%20%20valid_color%20%3D%20%22%23C9791B%22%0A%20%20%20%20test_color%20%3D%20%22%23353B45%22%0A%20%20%20%20truth_color%20%3D%20%22%23111111%22%0A%20%20%20%20chosen_color%20%3D%20%22%233F7D52%22%0A%20%20%20%20residual_color%20%3D%20%22%23C65F3B%22%0A%20%20%20%20mse_color%20%3D%20%22%234C6F91%22%0A%20%20%20%20bias_color%20%3D%20%22%23B75A3C%22%0A%20%20%20%20variance_color%20%3D%20%22%235E7D50%22%0A%20%20%20%20split_a_color%20%3D%20%22%23C9791B%22%0A%20%20%20%20split_b_color%20%3D%20%22%236C8BA4%22%0A%20%20%20%20validation_winner_color%20%3D%20%22%237B4EA3%22%0A%20%20%20%20final_check_color%20%3D%20%22%23007C89%22%0A%20%20%20%20holdout_color%20%3D%20%22%23C9A227%22%0A%20%20%20%20cv_color%20%3D%20chosen_color%0A%0A%20%20%20%20style%20%3D%20%22%22%22%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20html%2C%20body%2C%20div%2C%20span%2C%20p%2C%20li%2C%20label%2C%20button%2C%20input%2C%20select%2C%20textarea%2C%20h1%2C%20h2%2C%20h3%2C%20h4%20%7B%0A%20%20%20%20%20%20font-family%3A%20%22Segoe%20UI%22%2C%20%22Trebuchet%20MS%22%2C%20%22DejaVu%20Sans%22%2C%20Arial%2C%20sans-serif%20!important%3B%0A%20%20%20%20%20%20text-align%3A%20left%20!important%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.markdown%20p%2C%0A%20%20%20%20.markdown%20li%2C%0A%20%20%20%20.markdown%20h1%2C%0A%20%20%20%20.markdown%20h2%2C%0A%20%20%20%20.markdown%20h3%2C%0A%20%20%20%20.markdown%20h4%20%7B%0A%20%20%20%20%20%20text-align%3A%20left%20!important%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.markdown%20h1%2C%0A%20%20%20%20.markdown%20h2%2C%0A%20%20%20%20.markdown%20h3%2C%0A%20%20%20%20.markdown%20h4%20%7B%0A%20%20%20%20%20%20margin-top%3A%200.04rem%20!important%3B%0A%20%20%20%20%20%20margin-bottom%3A%200.04rem%20!important%3B%0A%20%20%20%20%20%20line-height%3A%201.2%20!important%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.markdown%20h1%20%7B%0A%20%20%20%20%20%20font-size%3A%202.05rem%20!important%3B%0A%20%20%20%20%20%20font-weight%3A%20650%20!important%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.markdown%20p%2C%0A%20%20%20%20.markdown%20ul%2C%0A%20%20%20%20.markdown%20ol%20%7B%0A%20%20%20%20%20%20margin-top%3A%200.04rem%20!important%3B%0A%20%20%20%20%20%20margin-bottom%3A%200.12rem%20!important%3B%0A%20%20%20%20%20%20line-height%3A%201.45%20!important%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.markdown%20ul%2C%0A%20%20%20%20.markdown%20ol%20%7B%0A%20%20%20%20%20%20padding-left%3A%201.15rem%20!important%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-panel%20%7B%0A%20%20%20%20%20%20display%3A%20grid%3B%0A%20%20%20%20%20%20gap%3A%200.34rem%3B%0A%20%20%20%20%20%20margin-top%3A%200.04rem%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-card%20%7B%0A%20%20%20%20%20%20border%3A%201px%20solid%20%23D9E1E7%3B%0A%20%20%20%20%20%20border-radius%3A%2010px%3B%0A%20%20%20%20%20%20padding%3A%200.55rem%200.65rem%3B%0A%20%20%20%20%20%20background%3A%20%23FAFCFE%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-heading%20%7B%0A%20%20%20%20%20%20font-size%3A%200.84rem%3B%0A%20%20%20%20%20%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20color%3A%20%235D6B78%3B%0A%20%20%20%20%20%20margin-bottom%3A%200.35rem%3B%0A%20%20%20%20%20%20letter-spacing%3A%200.01em%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-row%20%7B%0A%20%20%20%20%20%20display%3A%20flex%3B%0A%20%20%20%20%20%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20gap%3A%200.75rem%3B%0A%20%20%20%20%20%20align-items%3A%20baseline%3B%0A%20%20%20%20%20%20margin%3A%200.12rem%200%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-row%20%2B%20.results-row%20%7B%0A%20%20%20%20%20%20border-top%3A%201px%20solid%20%23EDF2F6%3B%0A%20%20%20%20%20%20padding-top%3A%200.22rem%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-label%20%7B%0A%20%20%20%20%20%20color%3A%20%235D6B78%3B%0A%20%20%20%20%20%20font-size%3A%200.84rem%3B%0A%20%20%20%20%7D%0A%0A%20%20%20%20.results-value%20%7B%0A%20%20%20%20%20%20color%3A%20%231F2A36%3B%0A%20%20%20%20%20%20font-weight%3A%20600%3B%0A%20%20%20%20%20%20font-size%3A%200.96rem%3B%0A%20%20%20%20%20%20text-align%3A%20right%3B%0A%20%20%20%20%7D%0A%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20bias_color%2C%0A%20%20%20%20%20%20%20%20chosen_color%2C%0A%20%20%20%20%20%20%20%20cv_color%2C%0A%20%20%20%20%20%20%20%20final_check_color%2C%0A%20%20%20%20%20%20%20%20holdout_color%2C%0A%20%20%20%20%20%20%20%20mse_color%2C%0A%20%20%20%20%20%20%20%20residual_color%2C%0A%20%20%20%20%20%20%20%20split_a_color%2C%0A%20%20%20%20%20%20%20%20split_b_color%2C%0A%20%20%20%20%20%20%20%20style%2C%0A%20%20%20%20%20%20%20%20test_color%2C%0A%20%20%20%20%20%20%20%20train_color%2C%0A%20%20%20%20%20%20%20%20truth_color%2C%0A%20%20%20%20%20%20%20%20valid_color%2C%0A%20%20%20%20%20%20%20%20validation_winner_color%2C%0A%20%20%20%20%20%20%20%20variance_color%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20lecture_config()%3A%0A%20%20%20%20age_domain%20%3D%20(18.0%2C%2075.0)%0A%20%20%20%20y_domain%20%3D%20(4.0%2C%208.5)%0A%20%20%20%20plot_domain%20%3D%20(3.95%2C%208.55)%0A%20%20%20%20degrees%20%3D%20tuple(range(0%2C%2011))%0A%20%20%20%20selection_degrees%20%3D%20tuple(range(0%2C%2011))%0A%20%20%20%20return%20age_domain%2C%20degrees%2C%20plot_domain%2C%20selection_degrees%2C%20y_domain%0A%0A%0A%40app.cell%0Adef%20sampling_helpers(age_domain%2C%20np)%3A%0A%20%20%20%20def%20age_from_unit(x%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20x%20%3D%20np.asarray(x%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%20age_domain%5B0%5D%20%2B%20x%20*%20(age_domain%5B1%5D%20-%20age_domain%5B0%5D)%0A%0A%20%20%20%20def%20true_function(x%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20x%20%3D%20np.asarray(x%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%207.35%20-%205.7%20*%20x%20%2B%206.8%20*%20x**2%0A%0A%20%20%20%20def%20generate_points(%0A%20%20%20%20%20%20%20%20n_samples%3A%20int%2C%0A%20%20%20%20%20%20%20%20noise_std%3A%20float%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20x_low%3A%20float%20%3D%200.06%2C%0A%20%20%20%20%20%20%20%20x_high%3A%20float%20%3D%200.94%2C%0A%20%20%20%20)%20-%3E%20tuple%5Bnp.ndarray%2C%20np.ndarray%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20x%20%3D%20np.sort(rng.uniform(x_low%2C%20x_high%2C%20n_samples))%0A%20%20%20%20%20%20%20%20y%20%3D%20true_function(x)%20%2B%20rng.normal(0.0%2C%20noise_std%2C%20n_samples)%0A%20%20%20%20%20%20%20%20return%20x%2C%20y%0A%0A%20%20%20%20return%20age_from_unit%2C%20generate_points%2C%20true_function%0A%0A%0A%40app.cell%0Adef%20polynomial_helpers(np%2C%20plot_domain)%3A%0A%20%20%20%20def%20polynomial_matrix(x%3A%20np.ndarray%2C%20degree%3A%20int)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20x%20%3D%20np.asarray(x%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%20np.column_stack(%5Bx**power%20for%20power%20in%20range(degree%20%2B%201)%5D)%0A%0A%20%20%20%20def%20fit_polynomial(x%3A%20np.ndarray%2C%20y%3A%20np.ndarray%2C%20degree%3A%20int)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20int%5D%3A%0A%20%20%20%20%20%20%20%20design%20%3D%20polynomial_matrix(x%2C%20degree)%0A%20%20%20%20%20%20%20%20coef%2C%20_%2C%20_%2C%20_%20%3D%20np.linalg.lstsq(design%2C%20y%2C%20rcond%3DNone)%0A%20%20%20%20%20%20%20%20return%20%7B%22degree%22%3A%20degree%2C%20%22coef%22%3A%20coef%7D%0A%0A%20%20%20%20def%20predict_polynomial(model%3A%20dict%5Bstr%2C%20np.ndarray%20%7C%20int%5D%2C%20x%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20design%20%3D%20polynomial_matrix(np.asarray(x%2C%20dtype%3Dfloat)%2C%20int(model%5B%22degree%22%5D))%0A%20%20%20%20%20%20%20%20return%20design%20%40%20np.asarray(model%5B%22coef%22%5D%2C%20dtype%3Dfloat)%0A%0A%20%20%20%20def%20clipped_prediction(model%3A%20dict%5Bstr%2C%20np.ndarray%20%7C%20int%5D%2C%20x%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20return%20np.clip(predict_polynomial(model%2C%20x)%2C%20plot_domain%5B0%5D%2C%20plot_domain%5B1%5D)%0A%0A%20%20%20%20def%20mse(y_true%3A%20np.ndarray%2C%20y_pred%3A%20np.ndarray)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20y_true%20%3D%20np.asarray(y_true%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20y_pred%20%3D%20np.asarray(y_pred%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20return%20float(np.mean((y_true%20-%20y_pred)%20**%202))%0A%0A%20%20%20%20return%20clipped_prediction%2C%20fit_polynomial%2C%20mse%2C%20predict_polynomial%0A%0A%0A%40app.cell%0Adef%20resampling_helpers(np)%3A%0A%20%20%20%20def%20split_indices(%0A%20%20%20%20%20%20%20%20n_samples%3A%20int%2C%0A%20%20%20%20%20%20%20%20train_frac%3A%20float%2C%0A%20%20%20%20%20%20%20%20valid_frac%3A%20float%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20)%20-%3E%20tuple%5Bnp.ndarray%2C%20np.ndarray%2C%20np.ndarray%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20order%20%3D%20rng.permutation(n_samples)%0A%20%20%20%20%20%20%20%20n_train%20%3D%20int(np.floor(n_samples%20*%20train_frac))%0A%20%20%20%20%20%20%20%20n_valid%20%3D%20int(np.floor(n_samples%20*%20valid_frac))%0A%20%20%20%20%20%20%20%20train_idx%20%3D%20np.sort(order%5B%3An_train%5D)%0A%20%20%20%20%20%20%20%20valid_idx%20%3D%20np.sort(order%5Bn_train%3An_train%20%2B%20n_valid%5D)%0A%20%20%20%20%20%20%20%20test_idx%20%3D%20np.sort(order%5Bn_train%20%2B%20n_valid%3A%5D)%0A%20%20%20%20%20%20%20%20return%20train_idx%2C%20valid_idx%2C%20test_idx%0A%0A%20%20%20%20def%20kfold_indices(n_samples%3A%20int%2C%20n_splits%3A%20int%2C%20seed%3A%20int)%20-%3E%20list%5Btuple%5Bnp.ndarray%2C%20np.ndarray%5D%5D%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20order%20%3D%20rng.permutation(n_samples)%0A%20%20%20%20%20%20%20%20folds%20%3D%20np.array_split(order%2C%20n_splits)%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Btuple%5Bnp.ndarray%2C%20np.ndarray%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20fold_index%20in%20range(n_splits)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20valid_idx%20%3D%20np.sort(folds%5Bfold_index%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20train_idx%20%3D%20np.sort(np.concatenate(%5Bfold%20for%20idx%2C%20fold%20in%20enumerate(folds)%20if%20idx%20!%3D%20fold_index%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append((train_idx%2C%20valid_idx))%0A%20%20%20%20%20%20%20%20return%20rows%0A%0A%20%20%20%20return%20kfold_indices%2C%20split_indices%0A%0A%0A%40app.cell%0Adef%20selection_helpers(%0A%20%20%20%20fit_polynomial%2C%0A%20%20%20%20generate_points%2C%0A%20%20%20%20kfold_indices%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20predict_polynomial%2C%0A%20%20%20%20split_indices%2C%0A)%3A%0A%20%20%20%20def%20evaluate_degree_curves(%0A%20%20%20%20%20%20%20%20x_train%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y_train%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20x_new%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y_new%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20degree_grid%3A%20tuple%5Bint%2C%20...%5D%2C%0A%20%20%20%20)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%20%7C%20int%20%7C%20str%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20degree%20in%20degree_grid%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_polynomial(x_train%2C%20y_train%2C%20degree)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Degree%22%3A%20degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Dataset%22%3A%20%22Training%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%3A%20mse(y_train%2C%20predict_polynomial(model%2C%20x_train))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Degree%22%3A%20degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Dataset%22%3A%20%22Unseen%20data%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%3A%20mse(y_new%2C%20predict_polynomial(model%2C%20x_new))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(rows)%0A%0A%20%20%20%20def%20build_selection_data(%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20development_n%3A%20int%20%3D%2060%2C%0A%20%20%20%20%20%20%20%20test_n%3A%20int%20%3D%2026%2C%0A%20%20%20%20%20%20%20%20noise_std%3A%20float%20%3D%200.48%2C%0A%20%20%20%20)%20-%3E%20tuple%5Bnp.ndarray%2C%20np.ndarray%2C%20np.ndarray%2C%20np.ndarray%5D%3A%0A%20%20%20%20%20%20%20%20x_dev%2C%20y_dev%20%3D%20generate_points(n_samples%3Ddevelopment_n%2C%20noise_std%3Dnoise_std%2C%20seed%3Dseed%2C%20x_low%3D0.03%2C%20x_high%3D0.97)%0A%20%20%20%20%20%20%20%20x_test%2C%20y_test%20%3D%20generate_points(n_samples%3Dtest_n%2C%20noise_std%3Dnoise_std%2C%20seed%3Dseed%20%2B%2041%2C%20x_low%3D0.03%2C%20x_high%3D0.97)%0A%20%20%20%20%20%20%20%20return%20x_dev%2C%20y_dev%2C%20x_test%2C%20y_test%0A%0A%20%20%20%20def%20evaluate_validation_curves(%0A%20%20%20%20%20%20%20%20x_dev%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y_dev%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20degree_grid%3A%20tuple%5Bint%2C%20...%5D%2C%0A%20%20%20%20%20%20%20%20split_seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20train_frac%3A%20float%20%3D%200.70%2C%0A%20%20%20%20)%20-%3E%20tuple%5Bpd.DataFrame%2C%20dict%5Bstr%2C%20float%20%7C%20int%5D%5D%3A%0A%20%20%20%20%20%20%20%20train_idx%2C%20valid_idx%2C%20_%20%3D%20split_indices(len(x_dev)%2C%20train_frac%3Dtrain_frac%2C%20valid_frac%3D1.0%20-%20train_frac%2C%20seed%3Dsplit_seed)%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%20%7C%20int%20%7C%20str%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20degree%20in%20degree_grid%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_polynomial(x_dev%5Btrain_idx%5D%2C%20y_dev%5Btrain_idx%5D%2C%20degree)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Degree%22%3A%20degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Dataset%22%3A%20%22Training%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%3A%20mse(y_dev%5Btrain_idx%5D%2C%20predict_polynomial(model%2C%20x_dev%5Btrain_idx%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Degree%22%3A%20degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Dataset%22%3A%20%22Validation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%3A%20mse(y_dev%5Bvalid_idx%5D%2C%20predict_polynomial(model%2C%20x_dev%5Bvalid_idx%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20frame%20%3D%20pd.DataFrame(rows)%0A%20%20%20%20%20%20%20%20validation_rows%20%3D%20frame%5Bframe%5B%22Dataset%22%5D%20%3D%3D%20%22Validation%22%5D.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20chosen_degree%20%3D%20int(validation_rows.loc%5Bvalidation_rows%5B%22MSE%22%5D.idxmin()%2C%20%22Degree%22%5D)%0A%20%20%20%20%20%20%20%20summary%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22chosen_degree%22%3A%20chosen_degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22chosen_validation_mse%22%3A%20float(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20validation_rows.loc%5Bvalidation_rows%5B%22Degree%22%5D%20%3D%3D%20chosen_degree%2C%20%22MSE%22%5D.iloc%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22train_count%22%3A%20int(len(train_idx))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22validation_count%22%3A%20int(len(valid_idx))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22train_frac%22%3A%20float(train_frac)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20return%20frame%2C%20summary%0A%0A%20%20%20%20def%20evaluate_cv_curves(%0A%20%20%20%20%20%20%20%20x_dev%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20y_dev%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20degree_grid%3A%20tuple%5Bint%2C%20...%5D%2C%0A%20%20%20%20%20%20%20%20n_splits%3A%20int%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%20%7C%20int%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20degree%20in%20degree_grid%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fold_mses%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20train_idx%2C%20valid_idx%20in%20kfold_indices(len(x_dev)%2C%20n_splits%3Dn_splits%2C%20seed%3Dseed)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_polynomial(x_dev%5Btrain_idx%5D%2C%20y_dev%5Btrain_idx%5D%2C%20degree)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fold_mses.append(mse(y_dev%5Bvalid_idx%5D%2C%20predict_polynomial(model%2C%20x_dev%5Bvalid_idx%5D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22Degree%22%3A%20degree%2C%20%22CV%20MSE%22%3A%20float(np.mean(fold_mses))%7D)%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(rows)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20build_selection_data%2C%0A%20%20%20%20%20%20%20%20evaluate_cv_curves%2C%0A%20%20%20%20%20%20%20%20evaluate_degree_curves%2C%0A%20%20%20%20%20%20%20%20evaluate_validation_curves%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20bias_variance_helpers(%0A%20%20%20%20fit_polynomial%2C%0A%20%20%20%20generate_points%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plot_domain%2C%0A%20%20%20%20predict_polynomial%2C%0A%20%20%20%20true_function%2C%0A)%3A%0A%20%20%20%20def%20bias_variance_summary(%0A%20%20%20%20%20%20%20%20degree%3A%20int%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20n_resamples%3A%20int%20%3D%207%2C%0A%20%20%20%20%20%20%20%20sample_size%3A%20int%20%3D%2011%2C%0A%20%20%20%20%20%20%20%20noise_std%3A%20float%20%3D%200.58%2C%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20np.ndarray%20%7C%20float%5D%3A%0A%20%20%20%20%20%20%20%20x_grid%20%3D%20np.linspace(0.0%2C%201.0%2C%20240)%0A%20%20%20%20%20%20%20%20predictions%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20offset%20in%20range(n_resamples)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x_sample%2C%20y_sample%20%3D%20generate_points(sample_size%2C%20noise_std%3Dnoise_std%2C%20seed%3Dseed%20%2B%2011%20*%20offset)%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_polynomial(x_sample%2C%20y_sample%2C%20degree)%0A%20%20%20%20%20%20%20%20%20%20%20%20predictions.append(predict_polynomial(model%2C%20x_grid))%0A%20%20%20%20%20%20%20%20prediction_array%20%3D%20np.asarray(predictions)%0A%20%20%20%20%20%20%20%20truth%20%3D%20true_function(x_grid)%0A%20%20%20%20%20%20%20%20average%20%3D%20prediction_array.mean(axis%3D0)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x_grid%22%3A%20x_grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%3A%20truth%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22predictions%22%3A%20prediction_array%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22plot_predictions%22%3A%20np.clip(prediction_array%2C%20plot_domain%5B0%5D%2C%20plot_domain%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22average%22%3A%20average%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22bias_sq%22%3A%20float(np.mean((average%20-%20truth)%20**%202))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22variance%22%3A%20float(np.mean(np.var(prediction_array%2C%20axis%3D0%2C%20ddof%3D1)))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22expected_mse%22%3A%20float(np.mean((prediction_array%20-%20truth%5BNone%2C%20%3A%5D)%20**%202)%20%2B%20noise_std**2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22noise_var%22%3A%20float(noise_std**2)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20evaluate_bias_variance_curves(%0A%20%20%20%20%20%20%20%20seed%3A%20int%2C%0A%20%20%20%20%20%20%20%20n_resamples%3A%20int%2C%0A%20%20%20%20%20%20%20%20degree_grid%3A%20tuple%5Bint%2C%20...%5D%2C%0A%20%20%20%20%20%20%20%20sample_size%3A%20int%20%3D%2025%2C%0A%20%20%20%20%20%20%20%20noise_std%3A%20float%20%3D%200.58%2C%0A%20%20%20%20%20%20%20%20x_grid_points%3A%20int%20%3D%20320%2C%0A%20%20%20%20)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20def%20run_bv(param_vals%2C%20n_resamples%3A%20int%2C%20n_train%3A%20int%2C%20fit_fn)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%20%7C%20int%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20param_value%20in%20param_vals%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prediction_matrix%20%3D%20np.column_stack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bfit_fn(run_index%2C%20param_value%2C%20n_train)%20for%20run_index%20in%20range(n_resamples)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22param%22%3A%20int(param_value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22bias2%22%3A%20float(np.mean((prediction_matrix.mean(axis%3D1)%20-%20truth)%20**%202))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22variance%22%3A%20float(np.mean(np.var(prediction_matrix%2C%20axis%3D1%2C%20ddof%3D1)))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22test_mse%22%3A%20float(np.mean((prediction_matrix%20-%20truth%5B%3A%2C%20None%5D)%20**%202))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.DataFrame(rows)%0A%0A%20%20%20%20%20%20%20%20def%20fit_fn(run_index%3A%20int%2C%20degree%3A%20int%2C%20n_train%3A%20int)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x_sample%2C%20y_sample%20%3D%20generate_points(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_train%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20noise_std%3Dnoise_std%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seed%3Dseed%20%2B%20degree%20*%20100_000%20%2B%2013%20*%20run_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20fit_polynomial(x_sample%2C%20y_sample%2C%20degree)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20predict_polynomial(model%2C%20x_grid)%0A%0A%20%20%20%20%20%20%20%20rows%3A%20list%5Bdict%5Bstr%2C%20float%20%7C%20int%20%7C%20str%5D%5D%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20x_grid%20%3D%20np.linspace(0.0%2C%201.0%2C%20x_grid_points)%0A%20%20%20%20%20%20%20%20truth%20%3D%20true_function(x_grid)%0A%20%20%20%20%20%20%20%20decomposition%20%3D%20run_bv(degree_grid%2C%20n_resamples%2C%20sample_size%2C%20fit_fn)%0A%20%20%20%20%20%20%20%20for%20component%20in%20decomposition.itertuples(index%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Degree%22%3A%20component.param%2C%20%22Metric%22%3A%20%22E%5BMSE%5D%22%2C%20%22Value%22%3A%20float(component.test_mse%20%2B%20noise_std**2)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Degree%22%3A%20component.param%2C%20%22Metric%22%3A%20%22Bias%C2%B2%22%2C%20%22Value%22%3A%20float(component.bias2)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22Degree%22%3A%20component.param%2C%20%22Metric%22%3A%20%22Variance%22%2C%20%22Value%22%3A%20float(component.variance)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(rows)%0A%0A%20%20%20%20return%20bias_variance_summary%2C%20evaluate_bias_variance_curves%0A%0A%0A%40app.cell%0Adef%20ui_helpers(alt%2C%20mo)%3A%0A%20%20%20%20def%20finish_chart(chart%3A%20alt.Chart%2C%20width%3A%20int%20%3D%20360%2C%20height%3A%20int%20%3D%20245)%20-%3E%20alt.Chart%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20chart.properties(width%3Dwidth%2C%20height%3Dheight)%0A%20%20%20%20%20%20%20%20%20%20%20%20.configure_view(stroke%3DNone)%0A%20%20%20%20%20%20%20%20%20%20%20%20.configure_axis(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labelColor%3D%22%232F3441%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20titleColor%3D%22%232F3441%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gridColor%3D%22%23D9E1E7%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domainColor%3D%22%23A7B3BF%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tickColor%3D%22%23A7B3BF%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.configure_legend(labelColor%3D%22%232F3441%22%2C%20titleColor%3D%22%232F3441%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20counter_button(label%3A%20str%2C%20kind%3A%20str)%3A%0A%20%20%20%20%20%20%20%20return%20mo.ui.button(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_click%3Dlambda%20value%3A%20value%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Dlabel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3Dkind%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20two_col(main%3A%20object%2C%20side%3A%20object)%3A%0A%20%20%20%20%20%20%20%20return%20mo.hstack(%5Bmain%2C%20side%5D%2C%20widths%3D%5B0.95%2C%201.8%5D%2C%20gap%3D0.55%2C%20align%3D%22start%22%2C%20wrap%3DTrue)%0A%0A%20%20%20%20def%20section_md(title%3A%20str%2C%20kicker%3A%20str%2C%20body%3A%20str%20%3D%20%22%22)%3A%0A%20%20%20%20%20%20%20%20blocks%20%3D%20%5Bmo.md(f%22%23%23%20%7Btitle%7D%22)%2C%20mo.md(kicker)%5D%0A%20%20%20%20%20%20%20%20if%20body%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20blocks.append(mo.md(body))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(blocks%2C%20gap%3D0.03)%0A%0A%20%20%20%20def%20metrics_md(metrics%3A%20list%5Btuple%5Bstr%2C%20str%5D%5D)%3A%0A%20%20%20%20%20%20%20%20if%20not%20metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.md(%22%22)%0A%20%20%20%20%20%20%20%20rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Cdiv%20class%3D'results-row'%3E%3Cdiv%20class%3D'results-label'%3E%7Blabel%7D%3C%2Fdiv%3E%3Cdiv%20class%3D'results-value'%3E%7Bvalue%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20label%2C%20value%20in%20metrics%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f%22%3Cdiv%20class%3D'results-panel'%3E%3Cdiv%20class%3D'results-card'%3E%3Cdiv%20class%3D'results-heading'%3EResults%3C%2Fdiv%3E%7Brows%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22)%0A%0A%20%20%20%20def%20table_md(headers%3A%20list%5Bstr%5D%2C%20rows%3A%20list%5Blist%5Bstr%5D%5D)%3A%0A%20%20%20%20%20%20%20%20if%20not%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.md(%22%22)%0A%20%20%20%20%20%20%20%20head%20%3D%20%22%7C%20%22%20%2B%20%22%20%7C%20%22.join(headers)%20%2B%20%22%20%7C%22%0A%20%20%20%20%20%20%20%20rule%20%3D%20%22%7C%20%22%20%2B%20%22%20%7C%20%22.join(%5B%22---%22%5D%20*%20len(headers))%20%2B%20%22%20%7C%22%0A%20%20%20%20%20%20%20%20body%20%3D%20%22%5Cn%22.join(%22%7C%20%22%20%2B%20%22%20%7C%20%22.join(row)%20%2B%20%22%20%7C%22%20for%20row%20in%20rows)%0A%20%20%20%20%20%20%20%20return%20mo.md(f%22**Results**%5Cn%5Cn%7Bhead%7D%5Cn%7Brule%7D%5Cn%7Bbody%7D%22)%0A%0A%20%20%20%20def%20takeaway_md(text%3A%20str)%3A%0A%20%20%20%20%20%20%20%20return%20mo.md(f%22**Takeaway.**%20%7Btext%7D%22)%0A%0A%20%20%20%20def%20note_md(text%3A%20str)%3A%0A%20%20%20%20%20%20%20%20return%20mo.md(f%22_%7Btext%7D_%22)%0A%0A%20%20%20%20def%20questions_md(questions%3A%20list%5Bstr%5D)%3A%0A%20%20%20%20%20%20%20%20items%20%3D%20%22%5Cn%22.join(f%22-%20%7Bquestion%7D%22%20for%20question%20in%20questions)%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5Bmo.md(%22**Make%20sure%20you%20can%20answer%20these%20questions**%22)%2C%20mo.md(items)%5D%2C%20gap%3D0.02)%0A%0A%20%20%20%20def%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3A%20list%5Bobject%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3A%20list%5Btuple%5Bstr%2C%20str%5D%5D%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20blocks%3A%20list%5Bobject%5D%20%3D%20%5Bmo.md(%22**Controls**%22)%2C%20*widgets%5D%0A%20%20%20%20%20%20%20%20if%20metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20blocks.append(metrics_md(metrics))%0A%20%20%20%20%20%20%20%20return%20mo.vstack(blocks%2C%20gap%3D0.18%2C%20align%3D%22stretch%22)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20counter_button%2C%0A%20%20%20%20%20%20%20%20finish_chart%2C%0A%20%20%20%20%20%20%20%20note_md%2C%0A%20%20%20%20%20%20%20%20questions_md%2C%0A%20%20%20%20%20%20%20%20section_md%2C%0A%20%20%20%20%20%20%20%20sidebar%2C%0A%20%20%20%20%20%20%20%20takeaway_md%2C%0A%20%20%20%20%20%20%20%20two_col%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20intro(mo%2C%20style)%3A%0A%20%20%20%20_page%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(style)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%23%20How%20to%20Choose%20the%20Right%20Predictive%20Model%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Javier%20Garcia-Bernardo%20%E2%80%94%20ODISSEI%20Social%20Data%20Science%20team%20(SoDa)%20%26%20Department%20of%20Methodology%20and%20Statistics%2C%20Utrecht%20University*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Model%20complexity%2C%20bias-variance%2C%20and%20cross-validation*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20app%20builds%20intuition%20about%20**generalization**%3A%20why%20training%20MSE%20is%20not%20enough%2C%20how%20overfitting%20appears%2C%20and%20why%20validation%20and%20cross-validation%20help%20us%20choose%20model%20complexity.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Vocabulary.**%20We%20use%20**unseen-data%20MSE**%20for%20performance%20on%20data%20not%20used%20to%20fit%20the%20displayed%20model.%20We%20reserve%20**held-out%20test%20MSE**%20for%20the%20final%20one-time%20estimate%20after%20one%20model%20has%20been%20chosen.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20to%20use%20it%3A%20move%20the%20sliders%20to%20change%20the%20polynomial%20model%2C%20press%20the%20%60Recreate%60%20buttons%20to%20draw%20another%20random%20sample%2C%20and%20use%20the%20reveal%20switches%20only%20after%20making%20a%20prediction%20yourself.%20Each%20section%20is%20independent%2C%20so%20you%20can%20explore%20one%20idea%20without%20losing%20your%20place%20in%20the%20rest%20of%20the%20app.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_page%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s1_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s1_degree%20%3D%20mo.ui.slider(0%2C%2010%2C%20value%3D3%2C%20step%3D1%2C%20label%3D%22Polynomial%20degree%22)%0A%20%20%20%20s1_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s1_degree%2C%20s1_recreate%0A%0A%0A%40app.cell%0Adef%20s1_section(%0A%20%20%20%20age_domain%2C%0A%20%20%20%20age_from_unit%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20clipped_prediction%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20fit_polynomial%2C%0A%20%20%20%20generate_points%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20predict_polynomial%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20residual_color%2C%0A%20%20%20%20s1_degree%2C%0A%20%20%20%20s1_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20train_color%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20y_domain%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20101%20%2B%20int(s1_recreate.value%20or%200)%0A%20%20%20%20_x_train%2C%20_y_train%20%3D%20generate_points(n_samples%3D11%2C%20noise_std%3D0.42%2C%20seed%3D_seed)%0A%20%20%20%20_model%20%3D%20fit_polynomial(_x_train%2C%20_y_train%2C%20int(s1_degree.value))%0A%20%20%20%20_x_grid%20%3D%20np.linspace(0.0%2C%201.0%2C%20260)%0A%0A%20%20%20%20_point_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Age%22%3A%20age_from_unit(_x_train)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Observed%22%3A%20_y_train%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Predicted%22%3A%20clipped_prediction(_model%2C%20_x_train)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Residual%22%3A%20_y_train%20-%20predict_polynomial(_model%2C%20_x_train)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_line_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Age%22%3A%20age_from_unit(_x_grid)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%22%3A%20clipped_prediction(_model%2C%20_x_grid)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_residuals%20%3D%20alt.Chart(_point_frame).mark_rule(%0A%20%20%20%20%20%20%20%20color%3Dresidual_color%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.55%2C%0A%20%20%20%20%20%20%20%20strokeWidth%3D2.0%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Age%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(age_domain))%2C%20title%3D%22Age%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Observed%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(y_domain))%2C%20title%3D%22Life%20satisfaction%22)%2C%0A%20%20%20%20%20%20%20%20y2%3D%22Predicted%3AQ%22%2C%0A%20%20%20%20)%0A%20%20%20%20_points%20%3D%20alt.Chart(_point_frame).mark_circle(%0A%20%20%20%20%20%20%20%20color%3Dtrain_color%2C%0A%20%20%20%20%20%20%20%20size%3D78%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.93%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3D%22Age%3AQ%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22Observed%3AQ%22%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Age%3AQ%22%2C%20format%3D%22.1f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Observed%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Predicted%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Residual%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_fit_line%20%3D%20alt.Chart(_line_frame).mark_line(%0A%20%20%20%20%20%20%20%20color%3Dchosen_color%2C%0A%20%20%20%20%20%20%20%20strokeWidth%3D3.0%2C%0A%20%20%20%20%20%20%20%20clip%3DTrue%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3D%22Age%3AQ%22%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Prediction%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(y_domain)))%2C%0A%20%20%20%20)%0A%20%20%20%20_chart%20%3D%20finish_chart(_residuals%20%2B%20_points%20%2B%20_fit_line)%0A%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs1_degree%2C%20s1_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B(%22Training%20MSE%22%2C%20f%22%7Bmse(_y_train%2C%20predict_polynomial(_model%2C%20_x_train))%3A.2f%7D%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%221.%20Measuring%20Fit%20with%20Training%20MSE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20want%20to%20understand%20the%20relationship%20between%20age%20and%20life%20satisfaction.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Before%20we%20compare%20models%2C%20we%20need%20a%20metric%20for%20how%20far%20the%20predictions%20are%20from%20the%20observed%20outcomes.%20In%20this%20section%20that%20metric%20is%20**mean%20squared%20error%20(MSE)**.%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Cmathrm%7BMSE%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D(y_i%20-%20%5Chat%20y_i)%5E2%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20the%20polynomial-degree%20slider%20to%20change%20the%20fitted%20relationship%20between%20age%20and%20life%20satisfaction%2C%20and%20use%20%60Recreate%20data%60%20to%20draw%20another%20sample%20from%20the%20same%20population.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(r%22The%20orange%20segments%20are%20residuals%20%24(y_i%20-%20%5Chat%20y_i)%24.%20MSE%20squares%20them%20before%20averaging.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Note%20that%20very%20flexible%20models%20can%20pass%20close%20to%20almost%20every%20training%20point.%20That%20makes%20training%20MSE%20look%20excellent%20even%20before%20we%20ask%20whether%20the%20model%20will%20generalize.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Training%20MSE%20only%20tells%20you%20how%20well%20the%20model%20matches%20this%20sample.%20It%20does%20not%20yet%20answer%20the%20generalization%20question.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20is%20the%20difference%20between%20a%20residual%20and%20MSE%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20is%20lower%20training%20MSE%20not%20enough%20to%20choose%20a%20predictive%20model%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s2_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s2_degree%20%3D%20mo.ui.slider(0%2C%2010%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Polynomial%20degree%22)%0A%20%20%20%20s2_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20s2_reveal_test%20%3D%20mo.ui.switch(value%3DFalse%2C%20label%3D%22Reveal%20unseen%20data%22)%0A%20%20%20%20s2_show_train%20%3D%20mo.ui.switch(value%3DTrue%2C%20label%3D%22Show%20training%20points%22)%0A%20%20%20%20return%20s2_degree%2C%20s2_recreate%2C%20s2_reveal_test%2C%20s2_show_train%0A%0A%0A%40app.cell%0Adef%20s2_section(%0A%20%20%20%20age_domain%2C%0A%20%20%20%20age_from_unit%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20clipped_prediction%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20fit_polynomial%2C%0A%20%20%20%20generate_points%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20predict_polynomial%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s2_degree%2C%0A%20%20%20%20s2_recreate%2C%0A%20%20%20%20s2_reveal_test%2C%0A%20%20%20%20s2_show_train%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20test_color%2C%0A%20%20%20%20train_color%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20y_domain%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20150%20%2B%20int(s2_recreate.value%20or%200)%0A%20%20%20%20_x_train%2C%20_y_train%20%3D%20generate_points(n_samples%3D11%2C%20noise_std%3D0.48%2C%20seed%3D_seed)%0A%20%20%20%20_model%20%3D%20fit_polynomial(_x_train%2C%20_y_train%2C%20int(s2_degree.value))%0A%20%20%20%20_x_grid%20%3D%20np.linspace(0.0%2C%201.0%2C%20260)%0A%20%20%20%20_show_test%20%3D%20bool(s2_reveal_test.value)%0A%20%20%20%20_show_train%20%3D%20bool(s2_show_train.value)%0A%0A%20%20%20%20_layers%20%3D%20%5B%5D%0A%20%20%20%20_fit_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Age%22%3A%20age_from_unit(_x_grid)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prediction%22%3A%20clipped_prediction(_model%2C%20_x_grid)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_layers.append(%0A%20%20%20%20%20%20%20%20alt.Chart(_fit_frame).mark_line(color%3Dchosen_color%2C%20strokeWidth%3D3.0%2C%20clip%3DTrue).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22Age%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(age_domain))%2C%20title%3D%22Age%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Prediction%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(y_domain))%2C%20title%3D%22Life%20satisfaction%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20if%20_show_train%3A%0A%20%20%20%20%20%20%20%20_train_frame%20%3D%20pd.DataFrame(%7B%22Age%22%3A%20age_from_unit(_x_train)%2C%20%22Outcome%22%3A%20_y_train%7D)%0A%20%20%20%20%20%20%20%20_layers.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_train_frame).mark_circle(color%3Dtrain_color%2C%20size%3D72%2C%20opacity%3D0.83).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22Age%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Outcome%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(y_domain)))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22Age%3AQ%22%2C%20format%3D%22.1f%22)%2C%20alt.Tooltip(%22Outcome%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_metrics%20%3D%20%5B(%22Training%20MSE%22%2C%20f%22%7Bmse(_y_train%2C%20predict_polynomial(_model%2C%20_x_train))%3A.2f%7D%22)%5D%0A%20%20%20%20if%20_show_test%3A%0A%20%20%20%20%20%20%20%20_x_test%2C%20_y_test%20%3D%20generate_points(%0A%20%20%20%20%20%20%20%20%20%20%20%20n_samples%3D8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20noise_std%3D0.56%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20seed%3D_seed%20%2B%20700%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x_low%3D0.08%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x_high%3D0.92%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_test_frame%20%3D%20pd.DataFrame(%7B%22Age%22%3A%20age_from_unit(_x_test)%2C%20%22Outcome%22%3A%20_y_test%7D)%0A%20%20%20%20%20%20%20%20_layers.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_test_frame).mark_point(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20shape%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filled%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dtest_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D160%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.95%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22Age%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Outcome%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(y_domain)))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22Age%3AQ%22%2C%20format%3D%22.1f%22)%2C%20alt.Tooltip(%22Outcome%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_metrics.append((%22Unseen-data%20MSE%22%2C%20f%22%7Bmse(_y_test%2C%20predict_polynomial(_model%2C%20_x_test))%3A.2f%7D%22))%0A%0A%20%20%20%20_chart%20%3D%20finish_chart(alt.layer(*_layers))%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs2_degree%2C%20s2_recreate%2C%20s2_reveal_test%2C%20s2_show_train%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D_metrics%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%222.%20From%20Training%20Data%20to%20Unseen%20Data%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22To%20estimate%20generalization%20error%2C%20training%20data%20is%20not%20enough.%20We%20need%20unseen%20data.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Unseen%20data**%20means%20data%20not%20used%20to%20fit%20the%20model%20we%20are%20evaluating.%20It%20can%20be%20a%20validation%20set%2C%20a%20held-out%20test%20set%2C%20or%20another%20sample%20from%20the%20same%20population.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Here%20the%20line%20is%20fitted%20using%20the%20training%20data%20only.%20Then%20the%20switch%20reveals%20unseen%20points%20from%20the%20same%20population%20without%20changing%20the%20fitted%20line.%20The%20resulting%20**unseen-data%20MSE**%20is%20a%20first%20estimate%20of%20how%20well%20the%20model%20generalizes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22The%20fitted%20line%20does%20not%20move%20when%20the%20unseen%20points%20appear.%20The%20unseen%20points%20are%20only%20for%20evaluation%2C%20not%20for%20fitting.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Training%20MSE%20answers%20how%20well%20the%20model%20fits%20data%20it%20already%20saw.%20Unseen-data%20MSE%20asks%20whether%20that%20fit%20generalizes.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20is%20unseen-data%20MSE%2C%20and%20how%20is%20it%20different%20from%20training%20MSE%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20should%20the%20fitted%20line%20stay%20fixed%20when%20unseen%20points%20are%20revealed%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s3_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s3_degree%20%3D%20mo.ui.slider(0%2C%2010%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Highlighted%20polynomial%20degree%22)%0A%20%20%20%20s3_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s3_degree%2C%20s3_recreate%0A%0A%0A%40app.cell%0Adef%20s3_section(%0A%20%20%20%20alt%2C%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20degrees%2C%0A%20%20%20%20evaluate_degree_curves%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20generate_points%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s3_degree%2C%0A%20%20%20%20s3_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20test_color%2C%0A%20%20%20%20train_color%2C%0A%20%20%20%20two_col%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20210%20%2B%20int(s3_recreate.value%20or%200)%0A%20%20%20%20_x_train%2C%20_y_train%20%3D%20generate_points(n_samples%3D11%2C%20noise_std%3D0.56%2C%20seed%3D_seed)%0A%20%20%20%20_x_new%2C%20_y_new%20%3D%20generate_points(n_samples%3D60%2C%20noise_std%3D0.56%2C%20seed%3D_seed%20%2B%2031%2C%20x_low%3D0.02%2C%20x_high%3D0.98)%0A%20%20%20%20_curve_frame%20%3D%20evaluate_degree_curves(_x_train%2C%20_y_train%2C%20_x_new%2C%20_y_new%2C%20degrees)%0A%20%20%20%20_plot_frame%20%3D%20_curve_frame.copy()%0A%20%20%20%20_plot_frame%5B%22Display%20MSE%22%5D%20%3D%20np.maximum(_plot_frame%5B%22MSE%22%5D%2C%201e-3)%0A%20%20%20%20_highlight_degree%20%3D%20int(s3_degree.value)%0A%20%20%20%20_color_scale%20%3D%20alt.Scale(domain%3D%5B%22Training%22%2C%20%22Unseen%20data%22%5D%2C%20range%3D%5Btrain_color%2C%20test_color%5D)%0A%0A%20%20%20%20_lines%20%3D%20alt.Chart(_plot_frame).mark_line(point%3DTrue%2C%20strokeWidth%3D2.6).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Degree%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%2010%5D)%2C%20axis%3Dalt.Axis(tickMinStep%3D1)%2C%20title%3D%22Polynomial%20degree%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Display%20MSE%3AQ%22%2C%20title%3D%22MSE%22%2C%20scale%3Dalt.Scale(type%3D%22log%22))%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Dataset%3AN%22%2C%20scale%3D_color_scale)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Degree%3AQ%22%2C%20format%3D%22.0f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Dataset%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22MSE%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_marker%20%3D%20alt.Chart(pd.DataFrame(%7B%22Degree%22%3A%20%5B_highlight_degree%5D%7D)).mark_rule(%0A%20%20%20%20%20%20%20%20color%3Dchosen_color%2C%0A%20%20%20%20%20%20%20%20strokeDash%3D%5B7%2C%204%5D%2C%0A%20%20%20%20%20%20%20%20strokeWidth%3D2.0%2C%0A%20%20%20%20).encode(x%3D%22Degree%3AQ%22)%0A%20%20%20%20_chart%20%3D%20finish_chart(_lines%20%2B%20_marker)%0A%0A%20%20%20%20_new_rows%20%3D%20_curve_frame%5B_curve_frame%5B%22Dataset%22%5D%20%3D%3D%20%22Unseen%20data%22%5D.reset_index(drop%3DTrue)%0A%20%20%20%20_best_new_degree%20%3D%20int(_new_rows.loc%5B_new_rows%5B%22MSE%22%5D.idxmin()%2C%20%22Degree%22%5D)%0A%20%20%20%20_highlight_rows%20%3D%20_curve_frame%5B_curve_frame%5B%22Degree%22%5D%20%3D%3D%20_highlight_degree%5D%0A%20%20%20%20_highlight_train_mse%20%3D%20float(_highlight_rows.loc%5B_highlight_rows%5B%22Dataset%22%5D%20%3D%3D%20%22Training%22%2C%20%22MSE%22%5D.iloc%5B0%5D)%0A%20%20%20%20_highlight_test_mse%20%3D%20float(_highlight_rows.loc%5B_highlight_rows%5B%22Dataset%22%5D%20%3D%3D%20%22Unseen%20data%22%2C%20%22MSE%22%5D.iloc%5B0%5D)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs3_degree%2C%20s3_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Flexibility%22%2C%20f%22Degree%20%7B_highlight_degree%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Highlighted%20train%20MSE%22%2C%20f%22%7B_highlight_train_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Highlighted%20unseen-data%20MSE%22%2C%20f%22%7B_highlight_test_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Best%20unseen-data%20degree%22%2C%20str(_best_new_degree))%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%223.%20Model%20Complexity%3A%20How%20Overfitting%20Shows%20Up%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Here%2C%20flexibility%20means%20polynomial%20degree.%20Higher%20degree%20means%20a%20more%20flexible%20curve.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20section%20compares%20training%20MSE%20with%20**unseen-data%20MSE**%20across%20polynomial%20degrees%20from%200%20to%2010.%20As%20degree%20increases%2C%20the%20model%20has%20more%20freedom%20to%20bend%20toward%20the%20training%20sample.%20Training%20MSE%20usually%20drops%2C%20but%20unseen-data%20MSE%20can%20start%20rising%20again.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20y-axis%20is%20on%20a%20log%20scale%20so%20you%20can%20still%20see%20the%20full%20range%2C%20from%20tiny%20training%20errors%20for%20high-degree%20polynomials%20to%20the%20larger%20unseen-data%20errors%20that%20matter%20for%20model%20choice.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22When%20the%20polynomial%20starts%20chasing%20the%20sample%20too%20closely%2C%20training%20error%20can%20keep%20improving%20even%20after%20generalization%20has%20started%20getting%20worse.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22The%20classic%20U-shape%20belongs%20to%20unseen-data%20MSE%2C%20not%20to%20training%20MSE.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22In%20this%20section%2C%20what%20exactly%20does%20model%20flexibility%20mean%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20can%20training%20MSE%20improve%20while%20unseen-data%20MSE%20gets%20worse%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s4_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s4_degree%20%3D%20mo.ui.slider(0%2C%205%2C%20value%3D3%2C%20step%3D1%2C%20label%3D%22Highlighted%20polynomial%20degree%22)%0A%20%20%20%20s4_runs%20%3D%20mo.ui.slider(4%2C%20100%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Models%20shown%20in%20top%20plot%22)%0A%20%20%20%20s4_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s4_degree%2C%20s4_recreate%2C%20s4_runs%0A%0A%0A%40app.cell%0Adef%20s4_reference_frame(evaluate_bias_variance_curves)%3A%0A%20%20%20%20s4_reference_frame%20%3D%20evaluate_bias_variance_curves(%0A%20%20%20%20%20%20%20%20seed%3D930%2C%0A%20%20%20%20%20%20%20%20n_resamples%3D1000%2C%0A%20%20%20%20%20%20%20%20degree_grid%3Dtuple(range(6))%2C%0A%20%20%20%20%20%20%20%20sample_size%3D25%2C%0A%20%20%20%20%20%20%20%20noise_std%3D0.58%2C%0A%20%20%20%20%20%20%20%20x_grid_points%3D320%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(s4_reference_frame%2C)%0A%0A%0A%40app.cell%0Adef%20s4_section(%0A%20%20%20%20age_domain%2C%0A%20%20%20%20age_from_unit%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20bias_color%2C%0A%20%20%20%20bias_variance_summary%2C%0A%20%20%20%20chosen_color%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse_color%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plot_domain%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s4_degree%2C%0A%20%20%20%20s4_recreate%2C%0A%20%20%20%20s4_reference_frame%2C%0A%20%20%20%20s4_runs%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20truth_color%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20variance_color%2C%0A%20%20%20%20y_domain%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20300%20%2B%20int(s4_recreate.value%20or%200)%0A%20%20%20%20_degree%20%3D%20int(s4_degree.value)%0A%20%20%20%20_summary%20%3D%20bias_variance_summary(%0A%20%20%20%20%20%20%20%20degree%3D_degree%2C%0A%20%20%20%20%20%20%20%20seed%3D_seed%2C%0A%20%20%20%20%20%20%20%20n_resamples%3Dint(s4_runs.value)%2C%0A%20%20%20%20%20%20%20%20sample_size%3D11%2C%0A%20%20%20%20)%0A%20%20%20%20_curve_frame%20%3D%20s4_reference_frame.copy()%0A%20%20%20%20_curve_frame%5B%22Display%20Value%22%5D%20%3D%20np.minimum(_curve_frame%5B%22Value%22%5D%2C%203.0)%0A%0A%20%20%20%20_truth_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Age%22%3A%20age_from_unit(_summary%5B%22x_grid%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20_summary%5B%22truth%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_average_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Age%22%3A%20age_from_unit(_summary%5B%22x_grid%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20np.clip(_summary%5B%22average%22%5D%2C%20plot_domain%5B0%5D%2C%20plot_domain%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_fit_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_index%2C%20_prediction%20in%20enumerate(_summary%5B%22plot_predictions%22%5D)%3A%0A%20%20%20%20%20%20%20%20_fit_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Age%22%3A%20age_from_unit(_summary%5B%22x_grid%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%22%3A%20f%22Fit%20%7B_index%20%2B%201%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_fit_frame%20%3D%20pd.concat(_fit_rows%2C%20ignore_index%3DTrue)%0A%0A%20%20%20%20_fits%20%3D%20alt.Chart(_fit_frame).mark_line(color%3D%22%23A7B3BF%22%2C%20opacity%3D0.38%2C%20strokeWidth%3D1.4%2C%20clip%3DTrue).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Age%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(age_domain))%2C%20title%3D%22Age%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Value%3AQ%22%2C%20scale%3Dalt.Scale(domain%3Dlist(y_domain))%2C%20title%3D%22Life%20satisfaction%22)%2C%0A%20%20%20%20%20%20%20%20detail%3D%22Model%3AN%22%2C%0A%20%20%20%20)%0A%20%20%20%20_truth%20%3D%20alt.Chart(_truth_frame).mark_line(color%3Dtruth_color%2C%20strokeDash%3D%5B6%2C%204%5D%2C%20strokeWidth%3D2.2%2C%20clip%3DTrue).encode(%0A%20%20%20%20%20%20%20%20x%3D%22Age%3AQ%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22Value%3AQ%22%2C%0A%20%20%20%20)%0A%20%20%20%20_average%20%3D%20alt.Chart(_average_frame).mark_line(color%3Dchosen_color%2C%20strokeWidth%3D3.0%2C%20clip%3DTrue).encode(%0A%20%20%20%20%20%20%20%20x%3D%22Age%3AQ%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22Value%3AQ%22%2C%0A%20%20%20%20)%0A%20%20%20%20_left_chart%20%3D%20finish_chart(%0A%20%20%20%20%20%20%20%20(_fits%20%2B%20_truth%20%2B%20_average).properties(title%3D%22Repeated%20fits%20at%20the%20highlighted%20degree%22)%2C%0A%20%20%20%20%20%20%20%20width%3D560%2C%0A%20%20%20%20%20%20%20%20height%3D220%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_color_scale%20%3D%20alt.Scale(%0A%20%20%20%20%20%20%20%20domain%3D%5B%22E%5BMSE%5D%22%2C%20%22Bias%C2%B2%22%2C%20%22Variance%22%5D%2C%0A%20%20%20%20%20%20%20%20range%3D%5Bmse_color%2C%20bias_color%2C%20variance_color%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_right_chart%20%3D%20finish_chart(%0A%20%20%20%20%20%20%20%20alt.Chart(_curve_frame)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue%2C%20strokeWidth%3D2.5)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22Degree%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%205%5D)%2C%20axis%3Dalt.Axis(tickMinStep%3D1)%2C%20title%3D%22Polynomial%20degree%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Display%20Value%3AQ%22%2C%20title%3D%22Error%20component%22%2C%20scale%3Dalt.Scale(domain%3D%5B0.0%2C%203.0%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Metric%3AN%22%2C%20scale%3D_color_scale%2C%20legend%3Dalt.Legend(title%3D%22Component%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Degree%3AQ%22%2C%20format%3D%22.0f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Metric%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Value%3AQ%22%2C%20format%3D%22.3f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20width%3D560%2C%0A%20%20%20%20%20%20%20%20height%3D250%2C%0A%20%20%20%20)%0A%20%20%20%20_right_chart%20%3D%20_right_chart.properties(title%3D%22Bias-variance%20decomposition%20from%201%2C000%20fitted%20models%20per%20degree%22)%0A%20%20%20%20_plots%20%3D%20mo.vstack(%5B_left_chart%2C%20_right_chart%5D%2C%20gap%3D0.12)%0A%0A%20%20%20%20_mse_rows%20%3D%20_curve_frame%5B_curve_frame%5B%22Metric%22%5D%20%3D%3D%20%22E%5BMSE%5D%22%5D.reset_index(drop%3DTrue)%0A%20%20%20%20_best_degree%20%3D%20int(_mse_rows.loc%5B_mse_rows%5B%22Value%22%5D.idxmin()%2C%20%22Degree%22%5D)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs4_degree%2C%20s4_runs%2C%20s4_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Flexibility%22%2C%20f%22Degree%20%7B_degree%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Top-plot%20models%22%2C%20str(int(s4_runs.value)))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Decomposition%20models%22%2C%20%221000%20per%20degree%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Bias%C2%B2%22%2C%20f%22%7Bfloat(_summary%5B'bias_sq'%5D)%3A.3f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Variance%22%2C%20f%22%7Bfloat(_summary%5B'variance'%5D)%3A.3f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22E%5BMSE%5D%22%2C%20f%22%7Bfloat(_summary%5B'expected_mse'%5D)%3A.3f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Lowest-E%5BMSE%5D%20degree%22%2C%20str(_best_degree))%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%224.%20The%20Bias-Variance%20Trade-Off%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22In%20this%20app%2C%20flexibility%20means%20polynomial%20degree.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22First%20focus%20on%20**E%5BMSE%5D**%3A%20the%20prediction%20error%20we%20would%20expect%20after%20repeatedly%20drawing%20a%20training%20sample%2C%20fitting%20a%20degree-p%20polynomial%2C%20and%20evaluating%20it%20on%20unseen%20data.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Then%20split%20that%20expected%20error%20into%20**bias**%20and%20**variance**.%20Bias%20is%20systematic%20error%3A%20if%20we%20averaged%20predictions%20over%20many%20possible%20training%20samples%2C%20how%20far%20would%20that%20average%20still%20be%20from%20the%20true%20relationship%3F%20Variance%20is%20instability%3A%20how%20much%20do%20predictions%20change%20from%20one%20training%20sample%20to%20another%3F%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20top%20plot%20shows%20several%20fits%20of%20the%20highlighted%20degree%20on%20different%20samples.%20The%20dashed%20black%20line%20is%20the%20true%20relationship%2C%20and%20the%20green%20line%20is%20the%20average%20prediction%20across%20fitted%20models.%20The%20bottom%20plot%20uses%201%2C000%20fitted%20models%20for%20every%20degree%20from%200%20to%205.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%24%5Cmathbb%7BE%7D%5B%5Cmathrm%7BMSE%7D%5D%20%3D%20%5Cmathbb%7BE%7D%5C!%5Cleft%5B(Y%20-%20%5Chat%20f(X))%5E2%5Cright%5D%20%3D%20%5Cmathrm%7BBias%7D%5E2%20%2B%20%5Cmathrm%7BVariance%7D%20%2B%20%5Csigma%5E2%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%24%5Cmathrm%7BBias%7D%5E2%20%3D%20%5Cmathbb%7BE%7D_X%5C!%5Cleft%5B(%5Cmathbb%7BE%7D_%7BD%7D%5B%5Chat%20f_D(X)%5D%20-%20f(X))%5E2%5Cright%5D%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%24%5Cmathrm%7BVariance%7D%20%3D%20%5Cmathbb%7BE%7D_X%5C!%5Cleft%5B%5Cmathbb%7BE%7D_%7BD%7D%5C!%5Cleft%5B(%5Chat%20f_D(X)%20-%20%5Cmathbb%7BE%7D_%7BD%7D%5B%5Chat%20f_D(X)%5D)%5E2%5Cright%5D%5Cright%5D%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_plots)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22Low-degree%20models%20usually%20pay%20in%20bias.%20Higher-degree%2C%20more%20flexible%20models%20usually%20pay%20in%20variance.%20The%20decomposition%20plot%20is%20restricted%20to%20degrees%200%20to%205%20and%20clipped%20at%203%20so%20the%20trade-off%20stays%20readable.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Bias%20and%20variance%20pull%20in%20opposite%20directions%2C%20so%20the%20best%20model%20complexity%20is%20usually%20a%20compromise.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20does%20model%20complexity%20impact%20the%20trade-off%20between%20bias%20an%20variance)%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20can%20the%20degree%20with%20the%20lowest%20E%5BMSE%5D%20be%20a%20compromise%20between%20bias%20and%20variance%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s5_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s5_degree%20%3D%20mo.ui.slider(0%2C%2010%2C%20value%3D4%2C%20step%3D1%2C%20label%3D%22Degree%20chosen%20for%20final%20audit%22)%0A%20%20%20%20s5_n%20%3D%20mo.ui.slider(10%2C%20220%2C%20value%3D20%2C%20step%3D10%2C%20label%3D%22Development%20sample%20size%20N%22)%0A%20%20%20%20s5_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20s5_reveal%20%3D%20mo.ui.switch(value%3DFalse%2C%20label%3D%22Reveal%20held-out%20test%20error%22)%0A%20%20%20%20return%20s5_degree%2C%20s5_n%2C%20s5_recreate%2C%20s5_reveal%0A%0A%0A%40app.cell%0Adef%20s5_section(%0A%20%20%20%20alt%2C%0A%20%20%20%20build_selection_data%2C%0A%20%20%20%20evaluate_validation_curves%2C%0A%20%20%20%20final_check_color%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20fit_polynomial%2C%0A%20%20%20%20holdout_color%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20predict_polynomial%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s5_degree%2C%0A%20%20%20%20s5_n%2C%0A%20%20%20%20s5_recreate%2C%0A%20%20%20%20s5_reveal%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20selection_degrees%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20train_color%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20valid_color%2C%0A%20%20%20%20validation_winner_color%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20410%20%2B%20int(s5_recreate.value%20or%200)%0A%20%20%20%20_n%20%3D%20int(s5_n.value)%0A%20%20%20%20_chosen_degree%20%3D%20int(s5_degree.value)%0A%20%20%20%20_x_dev%2C%20_y_dev%2C%20_x_test%2C%20_y_test%20%3D%20build_selection_data(seed%3D_seed%2C%20development_n%3D_n)%0A%20%20%20%20_frame%2C%20_summary%20%3D%20evaluate_validation_curves(%0A%20%20%20%20%20%20%20%20x_dev%3D_x_dev%2C%0A%20%20%20%20%20%20%20%20y_dev%3D_y_dev%2C%0A%20%20%20%20%20%20%20%20degree_grid%3Dselection_degrees%2C%0A%20%20%20%20%20%20%20%20split_seed%3D_seed%20%2B%205%2C%0A%20%20%20%20%20%20%20%20train_frac%3D0.50%2C%0A%20%20%20%20)%0A%20%20%20%20_train_count%20%3D%20int(_summary%5B%22train_count%22%5D)%0A%20%20%20%20_valid_count%20%3D%20int(_summary%5B%22validation_count%22%5D)%0A%20%20%20%20_test_count%20%3D%20int(len(_x_test))%0A%0A%20%20%20%20_split_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Role%22%3A%20%22Training%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Start%22%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22End%22%3A%2070%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Percent%22%3A%2070%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Label%22%3A%20%22Fit%20models%5Cn70%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Role%22%3A%20%22Validation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Start%22%3A%2070%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22End%22%3A%2085%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Percent%22%3A%2015%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Label%22%3A%20%22Choose%20degree%5Cn15%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Role%22%3A%20%22Held-out%20test%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Start%22%3A%2085%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22End%22%3A%20100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Percent%22%3A%2015%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Label%22%3A%20%22Final%20audit%5Cn15%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_split_scale%20%3D%20alt.Scale(%0A%20%20%20%20%20%20%20%20domain%3D%5B%22Training%22%2C%20%22Validation%22%2C%20%22Held-out%20test%22%5D%2C%0A%20%20%20%20%20%20%20%20range%3D%5Btrain_color%2C%20valid_color%2C%20holdout_color%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_split_bar%20%3D%20alt.Chart(_split_frame).mark_bar(%0A%20%20%20%20%20%20%20%20cornerRadius%3D5%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Start%3AQ%22%2C%20axis%3DNone%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20x2%3D%22End%3AQ%22%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.value(36)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Role%3AN%22%2C%20scale%3D_split_scale%2C%20legend%3Dalt.Legend(title%3D%22Role%22))%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Role%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Percent%3AQ%22%2C%20format%3D%22.0f%22%2C%20title%3D%22Percent%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_split_labels%20%3D%20alt.Chart(_split_frame).mark_text(%0A%20%20%20%20%20%20%20%20align%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20baseline%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20fontSize%3D13%2C%0A%20%20%20%20%20%20%20%20fontWeight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20lineBreak%3D%22%5Cn%22%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22mid%3AQ%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.value(36)%2C%0A%20%20%20%20%20%20%20%20text%3D%22Label%3AN%22%2C%0A%20%20%20%20).transform_calculate(mid%3D%22(datum.Start%20%2B%20datum.End)%20%2F%202%22)%0A%20%20%20%20_split_diagram%20%3D%20finish_chart(%0A%20%20%20%20%20%20%20%20(_split_bar%20%2B%20_split_labels).properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22One%20workflow%3A%20train%20to%20fit%2C%20validate%20to%20choose%2C%20test%20once%20to%20audit%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20width%3D650%2C%0A%20%20%20%20%20%20%20%20height%3D90%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_plot_frame%20%3D%20_frame.copy()%0A%20%20%20%20_plot_frame%5B%22Display%20MSE%22%5D%20%3D%20np.maximum(_plot_frame%5B%22MSE%22%5D%2C%201e-3)%0A%20%20%20%20_color_scale%20%3D%20alt.Scale(domain%3D%5B%22Training%22%2C%20%22Validation%22%5D%2C%20range%3D%5Btrain_color%2C%20valid_color%5D)%0A%20%20%20%20_mse_chart%20%3D%20alt.Chart(_plot_frame).mark_line(point%3DTrue%2C%20strokeWidth%3D2.6).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Degree%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%2010%5D)%2C%20axis%3Dalt.Axis(tickMinStep%3D1)%2C%20title%3D%22Polynomial%20degree%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Display%20MSE%3AQ%22%2C%20title%3D%22MSE%20(log%20scale)%22%2C%20scale%3Dalt.Scale(type%3D%22log%22))%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Dataset%3AN%22%2C%20scale%3D_color_scale)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22Degree%3AQ%22%2C%20format%3D%22.0f%22)%2C%20alt.Tooltip(%22Dataset%3AN%22)%2C%20alt.Tooltip(%22MSE%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_rules%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Degree%22%3A%20%5Bint(_summary%5B%22chosen_degree%22%5D)%2C%20_chosen_degree%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Label%22%3A%20%5B%22Validation%20winner%22%2C%20%22Chosen%20for%20final%20audit%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_rules_chart%20%3D%20alt.Chart(_rules).mark_rule(strokeDash%3D%5B7%2C%204%5D%2C%20strokeWidth%3D1.8).encode(%0A%20%20%20%20%20%20%20%20x%3D%22Degree%3AQ%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%22Validation%20winner%22%2C%20%22Chosen%20for%20final%20audit%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5Bvalidation_winner_color%2C%20final_check_color%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Reference%20line%22)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20_chart%20%3D%20finish_chart(alt.layer(_mse_chart%2C%20_rules_chart).resolve_scale(color%3D%22independent%22)%2C%20height%3D250)%0A%0A%20%20%20%20_chosen_validation_mse%20%3D%20float(%0A%20%20%20%20%20%20%20%20_frame.loc%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(_frame%5B%22Dataset%22%5D%20%3D%3D%20%22Validation%22)%20%26%20(_frame%5B%22Degree%22%5D%20%3D%3D%20_chosen_degree)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%2C%0A%20%20%20%20%20%20%20%20%5D.iloc%5B0%5D%0A%20%20%20%20)%0A%20%20%20%20_metrics%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Validation%20chose%22%2C%20f%22Degree%20%7Bint(_summary%5B'chosen_degree'%5D)%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Chosen%20for%20audit%22%2C%20f%22Degree%20%7B_chosen_degree%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Chosen%20validation%20MSE%22%2C%20f%22%7B_chosen_validation_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Training%20%2F%20validation%22%2C%20f%22%7B_train_count%7D%20%2F%20%7B_valid_count%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Held-out%20test%20size%22%2C%20str(_test_count))%2C%0A%20%20%20%20%5D%0A%20%20%20%20if%20bool(s5_reveal.value)%3A%0A%20%20%20%20%20%20%20%20_model%20%3D%20fit_polynomial(_x_dev%2C%20_y_dev%2C%20_chosen_degree)%0A%20%20%20%20%20%20%20%20_test_mse%20%3D%20mse(_y_test%2C%20predict_polynomial(_model%2C%20_x_test))%0A%20%20%20%20%20%20%20%20_metrics.append((%22Held-out%20test%20MSE%22%2C%20f%22%7B_test_mse%3A.2f%7D%22))%0A%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs5_degree%2C%20s5_n%2C%20s5_recreate%2C%20s5_reveal%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D_metrics%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%225.%20Train%2C%20Validate%2C%20Then%20Test%20Once%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20validation%20to%20choose%20model%20complexity%2C%20then%20reserve%20the%20held-out%20test%20set%20for%20one%20final%20audit.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22We%20often%20compare%20several%20candidate%20models%20before%20estimating%20the%20performance%20of%20the%20final%20chosen%20model.%20The%20split%20diagram%20is%20a%20schematic%2070%2F15%2F15%20workflow%3A%20training%20data%20fit%20each%20candidate%2C%20validation%20data%20choose%20among%20degrees%200%20through%2010%2C%20and%20the%20held-out%20test%20set%20waits%20until%20one%20degree%20has%20been%20selected.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22In%20the%20simulation%20below%2C%20%60N%60%20controls%20the%20development%20sample%20size%20used%20for%20the%20train%2Fvalidation%20exercise.%20The%20held-out%20test%20sample%20stays%20out%20of%20sight%20until%20you%20flip%20the%20reveal%20switch.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Try%20first%20using%20the%20degree%20selected%20by%20validation%2C%20then%20deliberately%20choose%20a%20nearby%20or%20more%20flexible%20degree.%20The%20validation%20MSE%20can%20guide%20the%20choice%2C%20but%20the%20held-out%20test%20MSE%20is%20the%20final%20audit%20of%20the%20one%20model%20you%20actually%20chose.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_split_diagram%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22Validation%20data%20are%20unseen%20by%20each%20fitted%20model%2C%20but%20they%20still%20influence%20model%20selection.%20That%20is%20why%20validation%20MSE%20is%20not%20the%20final%20generalization%20estimate.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Choose%20complexity%20with%20validation%2C%20retrain%20the%20chosen%20degree%20on%20all%20development%20data%2C%20and%20use%20the%20held-out%20test%20set%20once.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20do%20training%2C%20validation%2C%20and%20held-out%20test%20data%20have%20different%20jobs%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20would%20go%20wrong%20if%20you%20used%20held-out%20test%20MSE%20to%20choose%20among%20degrees%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s6b_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s6b_n%20%3D%20mo.ui.slider(4%2C%2024%2C%20value%3D8%2C%20step%3D1%2C%20label%3D%22Validation%20sample%20size%20N%22)%0A%20%20%20%20s6b_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20s6b_reveal%20%3D%20mo.ui.switch(value%3DFalse%2C%20label%3D%22Reveal%20held-out%20test%20data%22)%0A%20%20%20%20return%20s6b_n%2C%20s6b_recreate%2C%20s6b_reveal%0A%0A%0A%40app.cell%0Adef%20s6b_section(%0A%20%20%20%20alt%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20holdout_color%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s6b_n%2C%0A%20%20%20%20s6b_recreate%2C%0A%20%20%20%20s6b_reveal%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20split_a_color%2C%0A%20%20%20%20split_b_color%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20valid_color%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20560%20%2B%20int(s6b_recreate.value%20or%200)%0A%20%20%20%20_n%20%3D%20int(s6b_n.value)%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(_seed)%0A%20%20%20%20_x_valid%20%3D%20np.arange(1%2C%20_n%20%2B%201)%0A%20%20%20%20_y_valid%20%3D%20_rng.normal(0.0%2C%201.0%2C%20_n)%0A%20%20%20%20_test_n%20%3D%2040%0A%20%20%20%20_x_test%20%3D%20np.arange(_n%20%2B%203%2C%20_n%20%2B%203%20%2B%20_test_n)%0A%20%20%20%20_y_test%20%3D%20_rng.normal(0.0%2C%201.0%2C%20_test_n)%0A%20%20%20%20_x_line_max%20%3D%20(_x_test%5B-1%5D%20%2B%200.5)%20if%20bool(s6b_reveal.value)%20else%20(_n%20%2B%200.5)%0A%0A%20%20%20%20_pred_plus%20%3D%20np.ones(_n)%0A%20%20%20%20_pred_minus%20%3D%20-np.ones(_n)%0A%20%20%20%20_valid_mse_plus%20%3D%20mse(_y_valid%2C%20_pred_plus)%0A%20%20%20%20_valid_mse_minus%20%3D%20mse(_y_valid%2C%20_pred_minus)%0A%20%20%20%20_chosen_value%20%3D%201.0%20if%20_valid_mse_plus%20%3C%3D%20_valid_mse_minus%20else%20-1.0%0A%20%20%20%20_chosen_label%20%3D%20%22Model%20A%3A%20y%20%3D%201%22%20if%20_chosen_value%20%3E%200%20else%20%22Model%20B%3A%20y%20%3D%20-1%22%0A%20%20%20%20_chosen_validation_mse%20%3D%20min(_valid_mse_plus%2C%20_valid_mse_minus)%0A%20%20%20%20_test_mse%20%3D%20mse(_y_test%2C%20np.full_like(_y_test%2C%20_chosen_value))%0A%0A%20%20%20%20_valid_frame%20%3D%20pd.DataFrame(%7B%22x%22%3A%20_x_valid%2C%20%22y%22%3A%20_y_valid%7D)%0A%20%20%20%20_line_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22x%22%3A%200.5%2C%20%22y%22%3A%201.0%2C%20%22Model%22%3A%20%22Model%20A%3A%20y%20%3D%201%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22x%22%3A%20_x_line_max%2C%20%22y%22%3A%201.0%2C%20%22Model%22%3A%20%22Model%20A%3A%20y%20%3D%201%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22x%22%3A%200.5%2C%20%22y%22%3A%20-1.0%2C%20%22Model%22%3A%20%22Model%20B%3A%20y%20%3D%20-1%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22x%22%3A%20_x_line_max%2C%20%22y%22%3A%20-1.0%2C%20%22Model%22%3A%20%22Model%20B%3A%20y%20%3D%20-1%22%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_model_scale%20%3D%20alt.Scale(%0A%20%20%20%20%20%20%20%20domain%3D%5B%22Model%20A%3A%20y%20%3D%201%22%2C%20%22Model%20B%3A%20y%20%3D%20-1%22%5D%2C%0A%20%20%20%20%20%20%20%20range%3D%5Bsplit_a_color%2C%20split_b_color%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_points%20%3D%20alt.Chart(_valid_frame).mark_circle(color%3Dvalid_color%2C%20size%3D78%2C%20opacity%3D0.82).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22x%3AQ%22%2C%20title%3D%22Observation%20index%22%2C%20axis%3Dalt.Axis(tickMinStep%3D1))%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22y%3AQ%22%2C%20title%3D%22Observed%20y%22%2C%20scale%3Dalt.Scale(domain%3D%5B-3.4%2C%203.4%5D))%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22x%3AQ%22%2C%20format%3D%22.0f%22)%2C%20alt.Tooltip(%22y%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_lines%20%3D%20alt.Chart(_line_frame).mark_line(strokeWidth%3D2.8).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22x%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22y%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Model%3AN%22%2C%20scale%3D_model_scale%2C%20legend%3Dalt.Legend(title%3D%22Candidate%20model%22))%2C%0A%20%20%20%20)%0A%20%20%20%20_zero%20%3D%20alt.Chart(pd.DataFrame(%7B%22y%22%3A%20%5B0.0%5D%7D)).mark_rule(color%3D%22%237A828A%22%2C%20strokeDash%3D%5B4%2C%204%5D).encode(y%3D%22y%3AQ%22)%0A%20%20%20%20_scatter_layers%20%3D%20%5B_points%2C%20_lines%2C%20_zero%5D%0A%20%20%20%20if%20bool(s6b_reveal.value)%3A%0A%20%20%20%20%20%20%20%20_test_frame%20%3D%20pd.DataFrame(%7B%22x%22%3A%20_x_test%2C%20%22y%22%3A%20_y_test%7D)%0A%20%20%20%20%20%20%20%20_test_points%20%3D%20alt.Chart(_test_frame).mark_point(%0A%20%20%20%20%20%20%20%20%20%20%20%20shape%3D%22diamond%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20filled%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dholdout_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20size%3D62%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.74%2C%0A%20%20%20%20%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22x%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22y%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22x%3AQ%22%2C%20format%3D%22.0f%22%2C%20title%3D%22Test%20observation%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22y%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_test_separator%20%3D%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5B_n%20%2B%201.5%5D%7D)).mark_rule(%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dholdout_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20strokeDash%3D%5B5%2C%204%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20strokeWidth%3D1.6%2C%0A%20%20%20%20%20%20%20%20).encode(x%3D%22x%3AQ%22)%0A%20%20%20%20%20%20%20%20_test_label%20%3D%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5B_x_test%5B0%5D%5D%2C%20%22y%22%3A%20%5B3.05%5D%2C%20%22Label%22%3A%20%5B%22Held-out%20test%22%5D%7D)).mark_text(%0A%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22left%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dholdout_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontSize%3D12%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontWeight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20).encode(x%3D%22x%3AQ%22%2C%20y%3D%22y%3AQ%22%2C%20text%3D%22Label%3AN%22)%0A%20%20%20%20%20%20%20%20_scatter_layers.extend(%5B_test_separator%2C%20_test_points%2C%20_test_label%5D)%0A%20%20%20%20_scatter_chart%20%3D%20finish_chart(%0A%20%20%20%20%20%20%20%20alt.layer(*_scatter_layers).properties(title%3D%22Small%20validation%20sample%20and%20two%20equally%20bad%20models%22)%2C%0A%20%20%20%20%20%20%20%20width%3D410%2C%0A%20%20%20%20%20%20%20%20height%3D245%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_distribution_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20run_index%20in%20range(700)%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(_seed%20%2B%2010_000%20%2B%20run_index)%0A%20%20%20%20%20%20%20%20y_valid%20%3D%20rng.normal(0.0%2C%201.0%2C%20_n)%0A%20%20%20%20%20%20%20%20y_test%20%3D%20rng.normal(0.0%2C%201.0%2C%20120)%0A%20%20%20%20%20%20%20%20valid_plus%20%3D%20mse(y_valid%2C%20np.ones(_n))%0A%20%20%20%20%20%20%20%20valid_minus%20%3D%20mse(y_valid%2C%20-np.ones(_n))%0A%20%20%20%20%20%20%20%20chosen_value%20%3D%201.0%20if%20valid_plus%20%3C%3D%20valid_minus%20else%20-1.0%0A%20%20%20%20%20%20%20%20_distribution_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%22%3A%20%22Chosen%20validation%20MSE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%3A%20min(valid_plus%2C%20valid_minus)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_distribution_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Estimate%22%3A%20%22Held-out%20test%20MSE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MSE%22%3A%20mse(y_test%2C%20np.full_like(y_test%2C%20chosen_value))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_distribution_frame%20%3D%20pd.DataFrame(_distribution_rows)%0A%20%20%20%20_mean_frame%20%3D%20_distribution_frame.groupby(%22Estimate%22%2C%20as_index%3DFalse)%5B%22MSE%22%5D.mean()%0A%20%20%20%20_estimate_scale%20%3D%20alt.Scale(%0A%20%20%20%20%20%20%20%20domain%3D%5B%22Chosen%20validation%20MSE%22%2C%20%22Held-out%20test%20MSE%22%5D%2C%0A%20%20%20%20%20%20%20%20range%3D%5Bvalid_color%2C%20holdout_color%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_density_chart%20%3D%20alt.Chart(_distribution_frame).transform_density(%0A%20%20%20%20%20%20%20%20%22MSE%22%2C%0A%20%20%20%20%20%20%20%20groupby%3D%5B%22Estimate%22%5D%2C%0A%20%20%20%20%20%20%20%20as_%3D%5B%22MSE%22%2C%20%22Density%22%5D%2C%0A%20%20%20%20%20%20%20%20extent%3D%5B0.0%2C%205.6%5D%2C%0A%20%20%20%20).mark_area(opacity%3D0.34).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22MSE%3AQ%22%2C%20title%3D%22MSE%20across%20repeated%20samples%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Density%3AQ%22%2C%20title%3D%22Density%22)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Estimate%3AN%22%2C%20scale%3D_estimate_scale%2C%20legend%3Dalt.Legend(title%3D%22Estimate%22))%2C%0A%20%20%20%20)%0A%20%20%20%20_mean_rules%20%3D%20alt.Chart(_mean_frame).mark_rule(strokeDash%3D%5B6%2C%204%5D%2C%20strokeWidth%3D2.0).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22MSE%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Estimate%3AN%22%2C%20scale%3D_estimate_scale%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22Estimate%3AN%22)%2C%20alt.Tooltip(%22MSE%3AQ%22%2C%20format%3D%22.2f%22%2C%20title%3D%22Average%20MSE%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_distribution_chart%20%3D%20finish_chart(%0A%20%20%20%20%20%20%20%20(_density_chart%20%2B%20_mean_rules).properties(title%3D%22Selection%20makes%20validation%20error%20optimistic%22)%2C%0A%20%20%20%20%20%20%20%20width%3D410%2C%0A%20%20%20%20%20%20%20%20height%3D220%2C%0A%20%20%20%20)%0A%20%20%20%20_avg_chosen_validation_mse%20%3D%20float(%0A%20%20%20%20%20%20%20%20_mean_frame.loc%5B_mean_frame%5B%22Estimate%22%5D%20%3D%3D%20%22Chosen%20validation%20MSE%22%2C%20%22MSE%22%5D.iloc%5B0%5D%0A%20%20%20%20)%0A%20%20%20%20_avg_test_mse%20%3D%20float(_mean_frame.loc%5B_mean_frame%5B%22Estimate%22%5D%20%3D%3D%20%22Held-out%20test%20MSE%22%2C%20%22MSE%22%5D.iloc%5B0%5D)%0A%0A%20%20%20%20_metrics%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Validation%20MSE%2C%20y%20%3D%201%22%2C%20f%22%7B_valid_mse_plus%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Validation%20MSE%2C%20y%20%3D%20-1%22%2C%20f%22%7B_valid_mse_minus%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Validation%20chooses%22%2C%20_chosen_label)%2C%0A%20%20%20%20%20%20%20%20(%22Chosen%20validation%20MSE%22%2C%20f%22%7B_chosen_validation_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Avg%20chosen%20validation%20MSE%22%2C%20f%22%7B_avg_chosen_validation_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22Avg%20held-out%20test%20MSE%22%2C%20f%22%7B_avg_test_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20if%20bool(s6b_reveal.value)%3A%0A%20%20%20%20%20%20%20%20_metrics.append((%22Held-out%20test%20MSE%22%2C%20f%22%7B_test_mse%3A.2f%7D%22))%0A%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs6b_n%2C%20s6b_recreate%2C%20s6b_reveal%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D_metrics%2C%0A%20%20%20%20)%0A%20%20%20%20_right_panel%20%3D%20mo.vstack(%5B_scatter_chart%2C%20_distribution_chart%5D%2C%20gap%3D0.18)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%226.%20Why%20Validation%20MSE%20Is%20Not%20the%20Final%20Generalization%20Estimate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22After%20we%20use%20validation%20data%20to%20choose%20a%20model%2C%20the%20chosen%20validation%20MSE%20is%20usually%20too%20optimistic.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Here%20the%20data%20are%20pure%20noise%3A%20%60y%20~%20N(0%2C%201)%60.%20The%20two%20candidate%20models%2C%20%60y%20%3D%201%60%20and%20%60y%20%3D%20-1%60%2C%20are%20equally%20bad%20in%20expectation.%20With%20a%20small%20validation%20sample%2C%20one%20model%20often%20wins%20just%20by%20luck.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20distribution%20plot%20repeats%20that%20selection%20process%20many%20times.%20The%20chosen%20validation%20MSE%20is%20the%20smaller%20of%20two%20noisy%20validation%20estimates%2C%20so%20it%20tends%20to%20sit%20below%20the%20held-out%20test%20MSE%20of%20the%20selected%20model.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_right_panel)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22Validation%20MSE%20is%20useful%20for%20choosing%20among%20models.%20Once%20it%20has%20influenced%20the%20choice%2C%20it%20is%20no%20longer%20a%20clean%20final%20estimate%20of%20generalization%20error.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Selection%20makes%20the%20winning%20validation%20error%20optimistic%3B%20use%20a%20held-out%20test%20set%20for%20the%20final%20audit.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20are%20the%20two%20candidate%20models%20equally%20bad%20before%20looking%20at%20the%20sample%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20is%20the%20smaller%20validation%20MSE%20biased%20downward%20after%20model%20selection%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s7_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s7_n%20%3D%20mo.ui.slider(10%2C%20220%2C%20value%3D10%2C%20step%3D10%2C%20label%3D%22Development%20sample%20size%20N%22)%0A%20%20%20%20s7_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s7_n%2C%20s7_recreate%0A%0A%0A%40app.cell%0Adef%20s7_section(%0A%20%20%20%20alt%2C%0A%20%20%20%20build_selection_data%2C%0A%20%20%20%20evaluate_validation_curves%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s7_n%2C%0A%20%20%20%20s7_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20selection_degrees%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20split_a_color%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A%20%20%20%20valid_color%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20610%20%2B%20int(s7_recreate.value%20or%200)%0A%20%20%20%20_n%20%3D%20int(s7_n.value)%0A%20%20%20%20_x_dev%2C%20_y_dev%2C%20_%2C%20_%20%3D%20build_selection_data(seed%3D_seed%2C%20development_n%3D_n)%0A%20%20%20%20_split%2C%20_summary%20%3D%20evaluate_validation_curves(%0A%20%20%20%20%20%20%20%20x_dev%3D_x_dev%2C%0A%20%20%20%20%20%20%20%20y_dev%3D_y_dev%2C%0A%20%20%20%20%20%20%20%20degree_grid%3Dselection_degrees%2C%0A%20%20%20%20%20%20%20%20split_seed%3D_seed%20%2B%209%2C%0A%20%20%20%20%20%20%20%20train_frac%3D0.50%2C%0A%20%20%20%20)%0A%20%20%20%20_plot_frame%20%3D%20_split%5B_split%5B%22Dataset%22%5D%20%3D%3D%20%22Validation%22%5D.copy()%0A%20%20%20%20_plot_frame%5B%22Curve%22%5D%20%3D%20%22One%20validation%20split%22%0A%20%20%20%20_plot_frame%5B%22Display%20MSE%22%5D%20%3D%20np.maximum(_plot_frame%5B%22MSE%22%5D%2C%201e-3)%0A%20%20%20%20_rules%20%3D%20pd.DataFrame(%7B%22Degree%22%3A%20%5Bint(_summary%5B%22chosen_degree%22%5D)%5D%7D)%0A%20%20%20%20_chart%20%3D%20alt.Chart(_plot_frame).mark_line(point%3DTrue%2C%20strokeWidth%3D2.6%2C%20color%3Dvalid_color).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Degree%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%2010%5D)%2C%20axis%3Dalt.Axis(tickMinStep%3D1)%2C%20title%3D%22Polynomial%20degree%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Display%20MSE%3AQ%22%2C%20title%3D%22Validation%20MSE%20(log%20scale)%22%2C%20scale%3Dalt.Scale(type%3D%22log%22))%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22Degree%3AQ%22%2C%20format%3D%22.0f%22)%2C%20alt.Tooltip(%22MSE%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_rules_chart%20%3D%20alt.Chart(_rules).mark_rule(%0A%20%20%20%20%20%20%20%20color%3Dsplit_a_color%2C%0A%20%20%20%20%20%20%20%20strokeDash%3D%5B7%2C%204%5D%2C%0A%20%20%20%20%20%20%20%20strokeWidth%3D1.8%2C%0A%20%20%20%20).encode(x%3D%22Degree%3AQ%22)%0A%20%20%20%20_chart%20%3D%20finish_chart(_chart%20%2B%20_rules_chart%2C%20height%3D250)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs7_n%2C%20s7_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Validation%20chose%22%2C%20f%22Degree%20%7Bint(_summary%5B'chosen_degree'%5D)%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Validation%20MSE%22%2C%20f%22%7Bfloat(_summary%5B'chosen_validation_mse'%5D)%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Training%20%2F%20validation%22%2C%20f%22%7Bint(_summary%5B'train_count'%5D)%7D%20%2F%20%7Bint(_summary%5B'validation_count'%5D)%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%227.%20One%20Validation%20Split%20Can%20Be%20Fragile%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20single%20validation%20split%20gives%20one%20useful%20estimate%2C%20but%20it%20can%20still%20be%20noisy.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20section%20now%20shows%20only%20**one**%2050%3A50%20train-validation%20split.%20The%20point%20is%20not%20to%20compare%20two%20colored%20splits%20side%20by%20side%3B%20it%20is%20to%20notice%20that%20the%20chosen%20degree%20can%20move%20when%20the%20development%20sample%20is%20small%20or%20unlucky.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Press%20**Recreate%20data**%20several%20times.%20The%20model%20family%20and%20the%20rule%20for%20splitting%20do%20not%20change%2C%20but%20the%20validation%20curve%20can%20still%20wiggle%20enough%20to%20change%20the%20selected%20degree.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22One%20validation%20split%20is%20a%20valid%20model-selection%20tool%2C%20but%20it%20is%20still%20one%20noisy%20partition%20of%20finite%20data.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22When%20one%20split%20feels%20fragile%2C%20average%20more%20validation%20information%20instead%20of%20over-trusting%20one%20partition.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20changes%20when%20you%20recreate%20the%20data%2C%20and%20what%20stays%20fixed%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20might%20a%20small%20validation%20set%20pick%20a%20degree%20that%20feels%20too%20flexible%20or%20too%20simple%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s8_cv_visual_intro(%0A%20%20%20%20alt%2C%0A%20%20%20%20cv_color%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20holdout_color%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20section_md%2C%0A)%3A%0A%20%20%20%20_fold_order%20%3D%20%5Bf%22Fold%20%7Bfold_index%7D%22%20for%20fold_index%20in%20range(1%2C%206)%5D%20%2B%20%5B%22Held-out%20test%22%5D%0A%20%20%20%20_round_order%20%3D%20%5Bf%22Round%20%7Bround_index%7D%22%20for%20round_index%20in%20range(1%2C%206)%5D%0A%20%20%20%20_model_a_mse%20%3D%20%5B0.48%2C%200.42%2C%200.51%2C%200.45%2C%200.47%5D%0A%20%20%20%20_model_b_mse%20%3D%20%5B0.44%2C%200.46%2C%200.43%2C%200.49%2C%200.41%5D%0A%20%20%20%20_fold_frame%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22CV%20round%22%3A%20f%22Round%20%7Bround_index%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fold%22%3A%20f%22Fold%20%7Bfold_index%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Role%22%3A%20%22Validation%20fold%22%20if%20fold_index%20%3D%3D%20round_index%20else%20%22Training%20folds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20A%20label%22%3A%20f%22A%20MSE%20%7Bmodel_a_mse%3A.2f%7D%22%20if%20fold_index%20%3D%3D%20round_index%20else%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20B%20label%22%3A%20f%22B%20MSE%20%7Bmodel_b_mse%3A.2f%7D%22%20if%20fold_index%20%3D%3D%20round_index%20else%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20round_index%2C%20(model_a_mse%2C%20model_b_mse)%20in%20enumerate(zip(_model_a_mse%2C%20_model_b_mse)%2C%20start%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20fold_index%20in%20range(1%2C%206)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%2B%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22CV%20round%22%3A%20f%22Round%20%7Bround_index%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fold%22%3A%20%22Held-out%20test%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Role%22%3A%20%22Held-out%20test%20set%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20A%20label%22%3A%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20B%20label%22%3A%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20label%22%3A%20%22Test%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20round_index%20in%20range(1%2C%206)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_fold_frame%5B%22Test%20label%22%5D%20%3D%20_fold_frame.get(%22Test%20label%22%2C%20%22%22).fillna(%22%22)%0A%20%20%20%20_validation_frame%20%3D%20_fold_frame%5B_fold_frame%5B%22Role%22%5D%20%3D%3D%20%22Validation%20fold%22%5D.copy()%0A%20%20%20%20_test_frame%20%3D%20_fold_frame%5B_fold_frame%5B%22Role%22%5D%20%3D%3D%20%22Held-out%20test%20set%22%5D.copy()%0A%20%20%20%20_base%20%3D%20alt.Chart(_fold_frame).mark_rect(stroke%3D%22%23FFFFFF%22%2C%20strokeWidth%3D1.4).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Fold%3AN%22%2C%20sort%3D_fold_order%2C%20title%3D%22Data%20block%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22CV%20round%3AN%22%2C%20sort%3D_round_order%2C%20title%3D%22CV%20round%22)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Role%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%22Training%20folds%22%2C%20%22Validation%20fold%22%2C%20%22Held-out%20test%20set%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B%22%23D9E1E7%22%2C%20cv_color%2C%20holdout_color%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Role%22)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%22CV%20round%3AN%22%2C%20%22Fold%3AN%22%2C%20%22Role%3AN%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_model_a_labels%20%3D%20alt.Chart(_validation_frame).mark_text(%0A%20%20%20%20%20%20%20%20dy%3D-8%2C%0A%20%20%20%20%20%20%20%20fontSize%3D12%2C%0A%20%20%20%20%20%20%20%20fontWeight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22%23143D2A%22%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Fold%3AN%22%2C%20sort%3D_fold_order)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22CV%20round%3AN%22%2C%20sort%3D_round_order)%2C%0A%20%20%20%20%20%20%20%20text%3D%22Model%20A%20label%3AN%22%2C%0A%20%20%20%20)%0A%20%20%20%20_model_b_labels%20%3D%20alt.Chart(_validation_frame).mark_text(%0A%20%20%20%20%20%20%20%20dy%3D8%2C%0A%20%20%20%20%20%20%20%20fontSize%3D12%2C%0A%20%20%20%20%20%20%20%20fontWeight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22%23143D2A%22%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Fold%3AN%22%2C%20sort%3D_fold_order)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22CV%20round%3AN%22%2C%20sort%3D_round_order)%2C%0A%20%20%20%20%20%20%20%20text%3D%22Model%20B%20label%3AN%22%2C%0A%20%20%20%20)%0A%20%20%20%20_test_labels%20%3D%20alt.Chart(_test_frame).mark_text(%0A%20%20%20%20%20%20%20%20fontSize%3D12%2C%0A%20%20%20%20%20%20%20%20fontWeight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22%234B3B08%22%2C%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Fold%3AN%22%2C%20sort%3D_fold_order)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22CV%20round%3AN%22%2C%20sort%3D_round_order)%2C%0A%20%20%20%20%20%20%20%20text%3D%22Test%20label%3AN%22%2C%0A%20%20%20%20)%0A%20%20%20%20_cv_visual%20%3D%20finish_chart(%0A%20%20%20%20%20%20%20%20(_base%20%2B%20_model_a_labels%20%2B%20_model_b_labels%20%2B%20_test_labels).properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22How%205-fold%20cross-validation%20averages%20validation%20MSE%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20width%3D650%2C%0A%20%20%20%20%20%20%20%20height%3D175%2C%0A%20%20%20%20)%0A%20%20%20%20_mean_a%20%3D%20sum(_model_a_mse)%20%2F%20len(_model_a_mse)%0A%20%20%20%20_mean_b%20%3D%20sum(_model_b_mse)%20%2F%20len(_model_b_mse)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%228.%20Cross-Validation%3A%20Averaging%20Validation%20Folds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20green%20cell%20is%20the%20validation%20fold%20for%20that%20round%3B%20the%20gold%20column%20is%20the%20held-out%20test%20set.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20numbers%20inside%20the%20green%20cells%20are%20hypothetical%20validation%20MSEs%20for%20two%20candidate%20models%2C%20A%20and%20B.%20We%20do%20**not**%20choose%20the%20model%20from%20one%20green%20cell.%20We%20average%20each%20candidate's%20validation%20MSE%20across%20the%20folds%2C%20then%20choose%20the%20model%20with%20the%20lower%20average%20validation%20MSE.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20gold%20held-out%20test%20column%20is%20not%20part%20of%20the%20CV%20average.%20It%20waits%20until%20after%20model%20selection.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cv_visual%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Example%20averages%3A%20Model%20A%20%3D%20%60%7B_mean_a%3A.2f%7D%60%2C%20Model%20B%20%3D%20%60%7B_mean_b%3A.2f%7D%60.%20The%20average%2C%20not%20any%20single%20fold%2C%20is%20the%20CV%20estimate%20used%20for%20model%20comparison.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.24%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20s8_controls(counter_button%2C%20mo)%3A%0A%20%20%20%20s8_n%20%3D%20mo.ui.slider(10%2C%20220%2C%20value%3D10%2C%20step%3D10%2C%20label%3D%22Development%20sample%20size%20N%22)%0A%20%20%20%20s8_recreate%20%3D%20counter_button(label%3D%22Recreate%20data%22%2C%20kind%3D%22success%22)%0A%20%20%20%20return%20s8_n%2C%20s8_recreate%0A%0A%0A%40app.cell%0Adef%20s8_section(%0A%20%20%20%20alt%2C%0A%20%20%20%20build_selection_data%2C%0A%20%20%20%20cv_color%2C%0A%20%20%20%20evaluate_cv_curves%2C%0A%20%20%20%20evaluate_validation_curves%2C%0A%20%20%20%20finish_chart%2C%0A%20%20%20%20fit_polynomial%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20mse%2C%0A%20%20%20%20note_md%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20predict_polynomial%2C%0A%20%20%20%20questions_md%2C%0A%20%20%20%20s8_n%2C%0A%20%20%20%20s8_recreate%2C%0A%20%20%20%20section_md%2C%0A%20%20%20%20selection_degrees%2C%0A%20%20%20%20sidebar%2C%0A%20%20%20%20split_a_color%2C%0A%20%20%20%20takeaway_md%2C%0A%20%20%20%20two_col%2C%0A)%3A%0A%20%20%20%20_seed%20%3D%20710%20%2B%20int(s8_recreate.value%20or%200)%0A%20%20%20%20_n%20%3D%20int(s8_n.value)%0A%20%20%20%20_x_dev%2C%20_y_dev%2C%20_x_test%2C%20_y_test%20%3D%20build_selection_data(seed%3D_seed%2C%20development_n%3D_n)%0A%20%20%20%20_split%2C%20_summary%20%3D%20evaluate_validation_curves(%0A%20%20%20%20%20%20%20%20x_dev%3D_x_dev%2C%0A%20%20%20%20%20%20%20%20y_dev%3D_y_dev%2C%0A%20%20%20%20%20%20%20%20degree_grid%3Dselection_degrees%2C%0A%20%20%20%20%20%20%20%20split_seed%3D_seed%20%2B%209%2C%0A%20%20%20%20%20%20%20%20train_frac%3D0.50%2C%0A%20%20%20%20)%0A%20%20%20%20_cv_frame%20%3D%20evaluate_cv_curves(_x_dev%2C%20_y_dev%2C%20selection_degrees%2C%20n_splits%3D5%2C%20seed%3D_seed%20%2B%2073)%0A%20%20%20%20_cv_degree%20%3D%20int(_cv_frame.loc%5B_cv_frame%5B%22CV%20MSE%22%5D.idxmin()%2C%20%22Degree%22%5D)%0A%20%20%20%20_final_model%20%3D%20fit_polynomial(_x_dev%2C%20_y_dev%2C%20_cv_degree)%0A%20%20%20%20_final_test_mse%20%3D%20mse(_y_test%2C%20predict_polynomial(_final_model%2C%20_x_test))%0A%0A%20%20%20%20_comparison%20%3D%20pd.concat(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_split%5B_split%5B%22Dataset%22%5D%20%3D%3D%20%22Validation%22%5D%5B%5B%22Degree%22%2C%20%22MSE%22%5D%5D.assign(Curve%3D%22One%20validation%20split%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cv_frame.rename(columns%3D%7B%22CV%20MSE%22%3A%20%22MSE%22%7D).assign(Curve%3D%225-fold%20CV%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20ignore_index%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_plot_frame%20%3D%20_comparison.copy()%0A%20%20%20%20_plot_frame%5B%22Display%20MSE%22%5D%20%3D%20np.maximum(_plot_frame%5B%22MSE%22%5D%2C%201e-3)%0A%20%20%20%20_rules%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Degree%22%3A%20%5Bint(_summary%5B%22chosen_degree%22%5D)%2C%20_cv_degree%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Curve%22%3A%20%5B%22One%20validation%20split%22%2C%20%225-fold%20CV%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_chart%20%3D%20alt.Chart(_plot_frame).mark_line(point%3DTrue%2C%20strokeWidth%3D2.6).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Degree%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%2010%5D)%2C%20axis%3Dalt.Axis(tickMinStep%3D1)%2C%20title%3D%22Polynomial%20degree%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Display%20MSE%3AQ%22%2C%20title%3D%22Selection%20error%20(log%20scale)%22%2C%20scale%3Dalt.Scale(type%3D%22log%22))%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Curve%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%22One%20validation%20split%22%2C%20%225-fold%20CV%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5Bsplit_a_color%2C%20cv_color%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Selection%20method%22)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22Degree%3AQ%22%2C%20format%3D%22.0f%22)%2C%20alt.Tooltip(%22Curve%3AN%22)%2C%20alt.Tooltip(%22MSE%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_rules_chart%20%3D%20alt.Chart(_rules).mark_rule(strokeDash%3D%5B7%2C%204%5D%2C%20strokeWidth%3D1.8).encode(%0A%20%20%20%20%20%20%20%20x%3D%22Degree%3AQ%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Curve%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%22One%20validation%20split%22%2C%20%225-fold%20CV%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5Bsplit_a_color%2C%20cv_color%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Selection%20method%22)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20_chart%20%3D%20finish_chart(_chart%20%2B%20_rules_chart%2C%20height%3D250)%0A%20%20%20%20_sidebar%20%3D%20sidebar(%0A%20%20%20%20%20%20%20%20widgets%3D%5Bs8_n%2C%20s8_recreate%5D%2C%0A%20%20%20%20%20%20%20%20metrics%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22One%20split%20chose%22%2C%20f%22Degree%20%7Bint(_summary%5B'chosen_degree'%5D)%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%225-fold%20CV%20chose%22%2C%20f%22Degree%20%7B_cv_degree%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Held-out%20test%20MSE%20after%20CV%22%2C%20f%22%7B_final_test_mse%3A.2f%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20section_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%229.%20Cross-Validation%20for%20Stability%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Now%20compare%20one%20validation%20split%20with%20the%205-fold%20CV%20choice.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cross-validation%20is%20the%20remedy%20for%20instability%20in%20model%20comparison.%20Instead%20of%20letting%20one%20validation%20split%20carry%20the%20whole%20decision%2C%20we%20average%20validation%20MSE%20across%20folds%20and%20then%20choose%20the%20degree%2C%20from%200%20through%2010%2C%20with%20the%20lowest%20average%20error.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cross-validation%20is%20not%20a%20replacement%20for%20the%20held-out%20test%20set.%20After%20choosing%20the%20degree%2C%20we%20retrain%20on%20all%20development%20data%20and%20use%20the%20held-out%20test%20set%20once%20for%20a%20final%20check.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20two_col(_sidebar%2C%20_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20note_md(%22Cross-validation%20does%20not%20make%20noise%20disappear%2C%20but%20it%20usually%20reduces%20the%20chance%20that%20one%20arbitrary%20split%20dominates%20the%20complexity%20decision.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway_md(%22Use%20validation%20or%20cross-validation%20to%20choose%20complexity%2C%20retrain%20on%20all%20development%20data%2C%20and%20save%20the%20held-out%20test%20set%20for%20one%20final%20check.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20questions_md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20do%20we%20compare%20models%20using%20average%20validation%20MSE%20across%20folds%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22After%20CV%20chooses%20the%20degree%2C%20what%20role%20is%20left%20for%20the%20held-out%20test%20MSE%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.30%2C%0A%20%20%20%20)%0A%20%20%20%20_layout%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20footer(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20_Javier%20Garcia-Bernardo%20%E2%80%94%20SoDa%20%26%20Utrecht%20University._%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A