From polynomials to smoothing splines

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.23.0%22%2C%20%22matplotlib%3E%3D3.10%2C%3C4%22%2C%20%22numpy%3E%3D2.2%2C%3C3%22%5D%0A%23%20%2F%2F%2F%0A%22%22%22A%20standalone%20lesson%20on%20basis%20functions%2C%20spline%20constraints%20and%20choosing%20flexibility.%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%22From%20polynomials%20to%20smoothing%20splines%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20plt.rcParams.update(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22figure.facecolor%22%3A%20%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.facecolor%22%3A%20%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.spines.top%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.spines.right%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.edgecolor%22%3A%20%22%238c959b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22text.color%22%3A%20%22%23333333%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.labelcolor%22%3A%20%22%23333333%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22font.size%22%3A%2010%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22figure.dpi%22%3A%20150%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axes.grid%22%3A%20True%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grid.alpha%22%3A%200.15%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20%23%20Course%20colours%3A%20purple%2C%20petrol%2C%20gold%2C%20raspberry.%0A%20%20%20%20colours%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22purple%22%3A%20%22%233d348b%22%2C%0A%20%20%20%20%20%20%20%20%22petrol%22%3A%20%22%23006488%22%2C%0A%20%20%20%20%20%20%20%20%22gold%22%3A%20%22%23e6af2e%22%2C%0A%20%20%20%20%20%20%20%20%22raspberry%22%3A%20%22%23C2407A%22%2C%0A%20%20%20%20%20%20%20%20%22grey%22%3A%20%22%23808b94%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20colours%2C%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20data(np)%3A%0A%20%20%20%20%23%20NHANES%202009-2012%20(R%20package%20NHANES%202.1.4%2C%20data%20frame%20NHANESraw)%2C%20the%20same%0A%20%20%20%20%23%20people%20as%20in%20the%20lecture%3A%20age%20%3E%3D%202%20with%20measured%20height%20(n%20%3D%2018%2C035)%2C%0A%20%20%20%20%23%2080%2F20%20split%20with%20set.seed(2026)%20and%20sample.int()%3B%20the%20300%20training%20people%0A%20%20%20%20%23%20are%20training%5Bsample.int(nrow(training)%2C%20300)%2C%20%5D%20after%20set.seed(16).%0A%20%20%20%20%23%20Age%20is%20in%20whole%20years%20and%20top-coded%20at%2080.%20Height%20in%20cm.%0A%20%20%20%20_small_ages%20%3D%20%228%2C31%2C9%2C12%2C18%2C45%2C10%2C43%2C45%2C5%2C29%2C55%2C33%2C46%2C40%2C12%2C4%2C4%2C22%2C8%2C8%2C22%2C60%2C33%2C7%2C55%2C76%2C46%2C2%2C12%2C4%2C73%2C49%2C24%2C38%2C61%2C35%2C60%2C71%2C10%2C2%2C68%2C8%2C53%2C63%2C26%2C11%2C77%2C16%2C31%2C16%2C75%2C75%2C20%2C3%2C25%2C17%2C11%2C10%2C44%2C3%2C29%2C80%2C6%2C14%2C30%2C80%2C62%2C28%2C27%2C67%2C8%2C69%2C79%2C42%2C64%2C39%2C39%2C16%2C30%2C17%2C52%2C12%2C39%2C8%2C48%2C35%2C39%2C10%2C8%2C39%2C22%2C57%2C2%2C57%2C4%2C12%2C60%2C23%2C7%2C23%2C75%2C65%2C22%2C19%2C6%2C67%2C13%2C33%2C43%2C13%2C80%2C16%2C9%2C4%2C45%2C50%2C80%2C22%2C21%2C5%2C60%2C6%2C8%2C8%2C41%2C8%2C9%2C5%2C14%2C44%2C4%2C15%2C80%2C13%2C14%2C4%2C9%2C13%2C28%2C21%2C68%2C74%2C51%2C22%2C20%2C37%2C50%2C34%2C46%2C2%2C9%2C63%2C14%2C25%2C4%2C20%2C2%2C61%2C29%2C16%2C11%2C32%2C17%2C60%2C80%2C2%2C5%2C3%2C32%2C35%2C51%2C24%2C13%2C67%2C4%2C10%2C59%2C28%2C20%2C8%2C7%2C18%2C51%2C19%2C70%2C41%2C60%2C53%2C44%2C7%2C24%2C4%2C7%2C17%2C52%2C80%2C5%2C52%2C63%2C36%2C18%2C24%2C75%2C13%2C4%2C42%2C2%2C32%2C67%2C2%2C7%2C18%2C22%2C63%2C17%2C31%2C67%2C29%2C52%2C2%2C8%2C31%2C43%2C35%2C18%2C25%2C34%2C8%2C80%2C49%2C28%2C13%2C71%2C37%2C7%2C31%2C17%2C11%2C8%2C19%2C46%2C59%2C60%2C2%2C51%2C16%2C24%2C24%2C26%2C2%2C11%2C10%2C80%2C35%2C50%2C13%2C29%2C20%2C16%2C45%2C56%2C42%2C13%2C43%2C66%2C18%2C2%2C73%2C11%2C7%2C72%2C10%2C19%2C75%2C19%2C53%2C47%2C47%2C59%2C37%2C11%2C50%2C8%2C34%2C9%2C62%2C5%2C12%2C13%2C17%2C6%2C27%2C31%2C10%2C16%2C54%2C13%2C11%2C30%22%0A%20%20%20%20_small_heights%20%3D%20%22125.9%2C183.5%2C128.5%2C166.7%2C175.6%2C170.8%2C137%2C182.9%2C167.2%2C108%2C152.8%2C174.2%2C171.5%2C183.5%2C191.1%2C161%2C110%2C107.4%2C165.8%2C133.3%2C129.5%2C166.6%2C157.5%2C172.2%2C131.2%2C188.2%2C173.9%2C174.1%2C97.2%2C156.5%2C100.3%2C154.7%2C162%2C160%2C165.9%2C184.4%2C172.9%2C171.6%2C172.9%2C157.6%2C93.2%2C167.6%2C123.4%2C162.6%2C180.8%2C172.4%2C149.9%2C171%2C154.6%2C155.6%2C176.6%2C152.1%2C159.8%2C147.4%2C105.8%2C177%2C168.9%2C154.5%2C130.1%2C169.3%2C102.6%2C184.5%2C176.8%2C120.7%2C176.1%2C175.7%2C161.3%2C167.1%2C153.2%2C181.3%2C143.4%2C126.5%2C162.3%2C165.5%2C166.5%2C166.7%2C161.4%2C167.5%2C178.4%2C156.1%2C181.1%2C153.1%2C154.2%2C183.3%2C130.7%2C180.2%2C184.3%2C177.8%2C160%2C132.2%2C155.4%2C165.9%2C151.6%2C87.8%2C163.2%2C117.5%2C161.4%2C179.3%2C157.7%2C129.5%2C168.5%2C173.7%2C176.2%2C169.6%2C158.9%2C122%2C178.5%2C164.1%2C187.2%2C167.9%2C177.3%2C146.8%2C180.5%2C133.7%2C107.8%2C179.2%2C161.6%2C147.2%2C182.1%2C185.6%2C105.7%2C177.1%2C128.9%2C130.9%2C128.7%2C160.7%2C127.4%2C144.8%2C102.7%2C156.5%2C173%2C112.6%2C165%2C176.3%2C170.5%2C165.6%2C107.2%2C143.8%2C155.8%2C166.2%2C169.4%2C171.6%2C163.5%2C175.1%2C160.6%2C164.9%2C175.3%2C151.8%2C167.5%2C162.8%2C91.4%2C133.8%2C165%2C170.1%2C164.3%2C121.5%2C163.6%2C88.2%2C153%2C150.2%2C170.3%2C160.3%2C188.6%2C164.9%2C163.6%2C167.4%2C90.8%2C120.1%2C95.9%2C173.9%2C156.5%2C170.7%2C165.9%2C154.3%2C175.5%2C102.5%2C145.2%2C181.9%2C179.1%2C171%2C132.3%2C129.3%2C158.3%2C159.3%2C169.1%2C151.9%2C188.1%2C167.9%2C169.9%2C160.6%2C126.3%2C177.9%2C109%2C123.9%2C165.7%2C177.2%2C153.9%2C123.3%2C179%2C162.3%2C191.3%2C162.5%2C169.4%2C160.2%2C172%2C108.3%2C164.8%2C92.3%2C155.6%2C162.4%2C91.3%2C130.6%2C177.3%2C162.4%2C158.9%2C152.5%2C156.1%2C152%2C164.3%2C173.3%2C87.5%2C141.4%2C192.8%2C168%2C142.1%2C180.1%2C162.5%2C162.8%2C126.8%2C156.7%2C158%2C163.5%2C153.8%2C177.1%2C158%2C126.9%2C168.3%2C178%2C153.9%2C125.3%2C186.4%2C148.2%2C173.2%2C146.3%2C92.6%2C164.3%2C163.5%2C167.6%2C173%2C157.4%2C96.5%2C156.1%2C140.8%2C146.5%2C175.4%2C165.6%2C149%2C180.3%2C169.1%2C172.2%2C155.5%2C180.8%2C159.7%2C160.8%2C165.8%2C169.3%2C171.7%2C99.4%2C176.6%2C141.7%2C125.3%2C149.5%2C136.5%2C168.9%2C161.9%2C166.4%2C156%2C172.9%2C148.7%2C185.3%2C152.4%2C149.1%2C174.4%2C144.2%2C170.2%2C139%2C160.9%2C114.8%2C166.3%2C162.8%2C177.1%2C116.6%2C169.8%2C155.5%2C147.4%2C164.7%2C157.1%2C155.1%2C139%2C168.3%22%0A%20%20%20%20_test_ages%20%3D%20%2234%2C4%2C80%2C17%2C7%2C66%2C11%2C32%2C27%2C56%2C78%2C63%2C54%2C38%2C54%2C26%2C39%2C40%2C51%2C40%2C16%2C28%2C8%2C55%2C52%2C50%2C44%2C80%2C28%2C29%2C60%2C26%2C22%2C72%2C29%2C80%2C50%2C53%2C78%2C35%2C5%2C12%2C20%2C3%2C50%2C75%2C44%2C11%2C15%2C76%2C40%2C35%2C7%2C63%2C4%2C9%2C30%2C16%2C15%2C12%2C55%2C10%2C33%2C64%2C24%2C7%2C14%2C9%2C56%2C45%2C2%2C6%2C7%2C35%2C29%2C2%2C2%2C6%2C32%2C16%2C9%2C26%2C39%2C38%2C60%2C30%2C61%2C56%2C12%2C16%2C52%2C63%2C43%2C40%2C45%2C74%2C6%2C46%2C29%2C45%2C80%2C5%2C29%2C44%2C12%2C44%2C80%2C22%2C20%2C53%2C64%2C48%2C12%2C57%2C56%2C8%2C19%2C43%2C7%2C43%2C43%2C25%2C80%2C17%2C71%2C19%2C29%2C11%2C18%2C22%2C2%2C56%2C20%2C8%2C17%2C36%2C33%2C49%2C67%2C35%2C6%2C20%2C28%2C56%2C23%2C12%2C42%2C33%2C45%2C2%2C45%2C59%2C71%2C24%2C8%2C63%2C7%2C38%2C61%2C67%2C21%2C17%2C42%2C38%2C11%2C14%2C43%2C6%2C51%2C59%2C68%2C29%2C17%2C52%2C35%2C11%2C64%2C64%2C72%2C9%2C63%2C2%2C24%2C60%2C50%2C5%2C6%2C35%2C7%2C4%2C42%2C43%2C80%2C2%2C66%2C25%2C80%2C19%2C80%2C38%2C14%2C10%2C65%2C26%2C31%2C37%2C17%2C80%2C17%2C53%2C52%2C3%2C6%2C19%2C12%2C33%2C44%2C17%2C79%2C80%2C73%2C46%2C70%2C55%2C75%2C26%2C68%2C44%2C48%2C7%2C48%2C43%2C16%2C9%2C61%2C40%2C71%2C35%2C20%2C2%2C68%2C17%2C6%2C11%2C73%2C27%2C80%2C5%2C17%2C13%2C26%2C80%2C80%2C65%2C55%2C16%2C13%2C5%2C4%2C28%2C21%2C33%2C44%2C33%2C2%2C52%2C56%2C73%2C33%2C27%2C66%2C23%2C63%2C2%2C65%2C8%2C27%2C23%2C51%2C68%2C66%2C80%2C4%2C71%2C68%2C77%2C54%2C44%2C30%2C2%2C2%2C66%2C57%2C6%2C23%2C80%2C67%2C18%2C58%2C60%2C24%2C65%2C44%2C15%2C31%2C41%2C14%2C23%2C16%2C27%2C9%2C23%2C80%2C39%2C77%2C14%2C37%2C6%2C68%2C80%2C4%2C14%2C28%2C7%2C80%2C39%2C2%2C70%2C33%2C3%2C47%2C41%2C21%2C30%2C22%2C70%2C17%2C41%2C59%2C11%2C33%2C8%2C13%2C15%2C49%2C30%2C12%2C43%2C60%2C56%2C2%2C49%2C43%2C45%2C4%2C80%2C12%2C2%2C74%2C11%2C54%2C4%2C32%2C80%2C4%2C19%2C67%2C15%2C58%2C51%2C37%2C10%2C15%2C61%2C15%2C79%2C79%2C13%2C38%2C4%2C35%2C4%2C60%2C17%2C5%2C46%2C58%2C52%2C80%2C6%2C56%2C8%2C32%2C12%2C13%2C44%2C3%2C80%2C66%2C77%2C15%2C3%2C40%2C70%2C38%2C37%2C28%2C6%2C72%2C8%2C14%2C15%2C34%2C18%2C2%2C43%2C14%2C14%2C4%2C57%2C3%2C61%2C80%2C9%2C11%2C12%2C11%2C31%2C31%2C9%2C71%2C63%2C59%2C23%2C4%2C7%2C13%2C50%2C9%2C8%2C40%2C47%2C40%2C25%2C37%2C19%2C5%2C80%2C28%2C73%2C56%2C68%2C65%2C2%2C47%2C7%2C9%2C2%2C19%2C35%2C10%2C3%2C23%2C47%2C38%2C51%2C68%2C5%2C38%2C80%2C70%2C80%2C5%2C57%2C4%2C19%2C16%2C50%2C2%2C36%2C39%2C34%2C15%2C20%2C66%2C80%2C45%2C33%2C18%2C37%2C27%2C7%2C52%2C22%2C52%2C52%2C8%2C11%2C7%2C52%2C26%2C53%2C31%2C23%2C47%2C15%2C5%2C45%2C47%2C11%2C80%2C6%2C41%2C18%2C39%2C28%2C15%2C50%2C21%2C63%2C14%2C8%2C55%2C70%2C18%2C50%2C47%2C61%2C66%2C80%2C11%2C20%2C41%2C4%2C25%2C37%2C37%2C14%2C13%2C72%2C31%2C4%2C39%2C64%2C49%2C34%2C26%2C21%2C2%2C26%2C19%2C26%2C62%2C5%2C79%2C15%2C21%2C51%2C8%2C21%2C39%2C62%2C78%2C40%2C4%2C15%2C12%2C34%2C23%2C65%2C11%2C80%2C30%2C63%2C10%2C63%2C36%2C58%2C73%2C9%2C5%2C16%2C18%2C10%2C36%2C31%2C67%2C9%2C2%2C16%2C4%2C77%2C39%2C14%2C25%2C60%2C17%2C47%2C4%2C14%2C40%2C2%2C2%2C6%2C11%2C80%2C5%2C37%2C79%2C51%2C41%2C35%2C33%2C79%2C39%2C29%2C61%2C27%2C50%2C7%2C3%2C19%2C11%2C36%2C63%2C6%2C30%2C18%2C55%2C63%2C61%2C17%2C42%2C12%2C10%2C76%2C29%2C43%2C70%2C24%2C29%2C33%2C64%2C60%2C53%2C15%2C69%2C6%2C7%2C48%2C3%2C11%2C62%2C51%2C26%2C24%2C6%2C4%2C48%2C7%2C47%2C17%2C7%2C68%2C8%2C19%2C30%2C51%2C52%2C22%2C13%2C28%2C27%2C18%2C42%2C18%2C16%2C71%2C28%2C47%2C11%2C61%2C25%2C55%2C54%2C10%2C42%2C14%2C29%2C36%2C80%2C9%2C51%2C35%2C30%2C48%2C21%2C4%2C72%2C11%2C5%2C9%2C25%2C2%2C62%2C40%2C4%2C28%2C2%2C75%2C53%2C71%2C70%2C47%2C4%2C16%2C67%2C8%2C39%2C33%2C37%2C17%2C17%2C14%2C41%2C44%2C39%2C17%2C32%2C21%2C19%2C61%2C79%2C11%2C7%2C79%2C3%2C39%2C27%2C36%2C44%2C27%2C30%2C5%2C56%2C74%2C43%2C43%2C62%2C80%2C80%2C72%2C45%2C73%2C17%2C21%2C54%2C28%2C80%2C9%2C42%2C66%2C25%2C53%2C9%2C14%2C16%2C39%2C29%2C27%2C57%2C16%2C25%2C80%2C33%2C3%2C13%2C52%2C80%2C47%2C8%2C2%2C22%2C30%2C55%2C3%2C38%2C32%2C18%2C80%2C9%2C19%2C7%2C4%2C19%2C20%2C40%2C59%2C7%2C52%2C10%2C3%2C2%2C18%2C42%2C61%2C9%2C2%2C18%2C20%2C54%2C63%2C45%2C38%2C65%2C6%2C20%2C80%2C56%2C50%2C51%2C71%2C80%2C57%2C43%2C2%2C63%2C9%2C57%2C43%2C25%2C76%2C44%2C2%2C33%2C9%2C16%2C39%2C36%2C8%2C80%2C80%2C7%2C67%2C70%2C40%2C12%2C60%2C58%2C51%2C23%2C32%2C31%2C45%2C6%2C44%2C9%2C35%2C61%2C43%2C2%2C40%2C37%2C15%2C46%2C52%2C18%2C16%2C24%2C60%2C6%2C41%2C11%2C27%2C36%2C26%2C17%2C10%2C35%2C49%2C80%2C39%2C13%2C80%2C23%2C80%2C30%2C7%2C10%2C80%2C2%2C45%2C70%2C56%2C7%2C42%2C12%2C79%2C62%2C12%2C62%2C38%2C52%2C50%2C42%2C19%2C80%2C45%2C21%2C71%2C73%2C67%2C2%2C76%2C56%2C14%2C34%2C47%2C17%2C61%2C75%2C48%2C22%2C72%2C80%2C2%2C2%2C60%2C80%2C41%2C49%2C2%2C22%2C11%2C17%2C42%2C11%2C80%2C78%2C2%2C29%2C5%2C3%2C63%2C80%2C66%2C69%2C2%2C58%2C75%2C68%2C50%2C17%2C43%2C4%2C64%2C10%2C28%2C61%2C34%2C17%2C5%2C12%2C78%2C64%2C10%2C78%2C48%2C30%2C6%2C5%2C73%2C53%2C72%2C12%2C22%2C80%2C38%2C26%2C24%2C32%2C80%2C65%2C12%2C48%2C31%2C17%2C39%2C51%2C4%2C80%2C33%2C10%2C14%2C49%2C26%2C56%2C28%2C53%2C62%2C53%2C14%2C78%2C51%2C12%2C56%2C60%2C8%2C19%2C76%2C57%2C37%2C74%2C25%2C51%2C68%2C67%2C57%2C80%2C19%2C21%2C39%2C23%2C22%2C49%2C63%2C30%2C42%2C69%2C42%2C36%2C15%2C61%2C12%2C48%2C9%2C37%2C72%2C69%2C49%2C11%2C56%2C66%2C44%2C54%2C12%2C11%2C57%2C54%2C4%2C2%2C23%2C8%2C19%2C46%2C46%2C7%2C77%2C62%2C71%2C47%2C72%2C2%2C10%2C45%2C17%2C52%2C48%2C13%2C49%2C41%2C36%2C80%2C52%2C23%2C4%2C60%2C54%2C44%2C28%2C34%2C65%2C26%2C19%2C41%2C31%2C44%2C54%2C55%2C51%2C51%2C30%2C15%2C13%2C15%2C74%2C27%2C48%2C68%2C29%2C55%2C58%2C6%2C31%2C43%2C7%2C65%2C30%2C3%2C54%2C35%2C36%2C6%2C64%2C76%2C50%2C53%2C20%2C18%2C29%2C31%2C21%2C25%2C32%2C55%2C45%2C15%2C48%2C47%2C44%2C39%2C24%2C9%2C28%2C79%2C21%2C38%2C56%2C43%2C8%2C67%2C75%2C8%2C73%2C6%2C80%2C21%2C80%2C32%2C80%2C15%2C3%2C16%2C57%2C67%2C37%2C58%2C13%2C68%2C76%2C16%2C4%2C62%2C32%2C27%2C9%2C80%2C25%2C32%2C15%2C45%2C61%2C18%2C23%2C35%2C43%2C10%2C33%2C41%2C70%2C43%2C15%2C22%2C14%2C64%2C43%2C47%2C3%2C4%2C48%2C69%2C12%2C46%2C18%2C7%2C54%2C41%2C71%2C19%2C53%2C6%2C22%2C11%2C13%2C15%2C47%2C9%2C77%2C26%2C35%2C72%2C60%2C43%2C49%2C9%2C3%2C25%2C17%2C61%2C40%2C27%2C3%2C10%2C21%2C59%2C36%2C13%2C16%2C38%2C49%2C12%2C48%2C35%2C10%2C61%2C15%2C74%2C62%2C3%2C69%2C54%2C33%2C38%2C76%2C7%2C14%2C15%2C55%2C6%2C10%2C40%2C13%2C5%2C45%2C4%2C5%2C8%2C68%2C12%2C23%2C4%2C31%2C51%2C74%2C59%2C67%2C20%2C50%2C74%2C56%2C49%2C9%2C52%2C69%2C80%2C65%2C29%2C65%2C68%2C30%2C35%2C19%2C54%2C38%2C3%2C15%2C53%2C77%2C34%2C65%2C38%2C6%2C67%2C18%2C35%2C64%2C70%2C17%2C23%2C23%2C7%2C61%2C39%2C49%2C58%2C13%2C62%2C62%2C41%2C5%2C57%2C38%2C18%2C79%2C51%2C19%2C37%2C22%2C15%2C2%2C48%2C35%2C44%2C45%2C39%2C47%2C80%2C31%2C70%2C29%2C75%2C9%2C79%2C3%2C25%2C4%2C35%2C61%2C22%2C77%2C41%2C13%2C34%2C42%2C74%2C41%2C44%2C48%2C77%2C14%2C70%2C74%2C51%2C54%2C80%2C15%2C67%2C8%2C8%2C9%2C38%2C42%2C58%2C77%2C60%2C68%2C13%2C28%2C68%2C51%2C11%2C13%2C63%2C24%2C13%2C70%2C35%2C58%2C9%2C35%2C61%2C18%2C35%2C8%2C80%2C19%2C12%2C65%2C11%2C8%2C53%2C41%2C71%2C67%2C64%2C78%2C6%2C47%2C48%2C37%2C4%2C48%2C12%2C26%2C51%2C3%2C19%2C43%2C22%2C5%2C42%2C72%2C33%2C46%2C11%2C60%2C63%2C61%2C49%2C7%2C22%2C2%2C29%2C61%2C64%2C3%2C65%2C9%2C61%2C54%2C6%2C42%2C62%2C43%2C37%2C16%2C54%2C36%2C66%2C27%2C19%2C8%2C25%2C23%2C17%2C9%2C28%2C4%2C13%2C53%2C35%2C74%2C42%2C42%2C39%2C32%2C10%2C66%2C23%2C42%2C55%2C16%2C7%2C53%2C19%2C76%2C4%2C54%2C36%2C14%2C70%2C67%2C20%2C25%2C51%2C5%2C12%2C72%2C27%2C26%2C60%2C46%2C28%2C32%2C14%2C23%2C64%2C26%2C38%2C47%2C32%2C23%2C80%2C21%2C62%2C44%2C57%2C61%2C20%2C12%2C6%2C29%2C54%2C3%2C11%2C55%2C51%2C18%2C11%2C14%2C47%2C37%2C28%2C80%2C2%2C12%2C6%2C80%2C62%2C42%2C43%2C3%2C7%2C36%2C24%2C10%2C44%2C21%2C36%2C60%2C20%2C28%2C71%2C41%2C46%2C49%2C6%2C7%2C71%2C20%2C3%2C46%2C16%2C54%2C17%2C66%2C71%2C42%2C45%2C10%2C41%2C11%2C65%2C61%2C14%2C20%2C80%2C32%2C53%2C3%2C59%2C12%2C16%2C31%2C2%2C52%2C41%2C5%2C17%2C39%2C6%2C14%2C10%2C2%2C18%2C4%2C29%2C9%2C51%2C8%2C50%2C80%2C7%2C80%2C8%2C25%2C53%2C31%2C31%2C37%2C39%2C10%2C24%2C33%2C37%2C16%2C15%2C33%2C74%2C69%2C53%2C49%2C55%2C14%2C3%2C43%2C71%2C4%2C3%2C20%2C34%2C5%2C51%2C68%2C78%2C25%2C49%2C11%2C23%2C62%2C4%2C18%2C9%2C15%2C29%2C29%2C27%2C22%2C50%2C16%2C71%2C11%2C60%2C33%2C30%2C34%2C21%2C3%2C12%2C75%2C4%2C66%2C30%2C53%2C77%2C16%2C34%2C54%2C4%2C76%2C20%2C18%2C40%2C72%2C8%2C10%2C25%2C5%2C48%2C7%2C39%2C69%2C16%2C49%2C3%2C76%2C3%2C8%2C47%2C5%2C14%2C24%2C11%2C80%2C30%2C9%2C18%2C2%2C49%2C18%2C41%2C17%2C80%2C25%2C25%2C9%2C4%2C4%2C28%2C54%2C78%2C72%2C71%2C9%2C10%2C38%2C80%2C10%2C27%2C59%2C6%2C41%2C26%2C15%2C32%2C58%2C28%2C28%2C38%2C18%2C66%2C14%2C63%2C34%2C38%2C41%2C16%2C5%2C44%2C54%2C37%2C60%2C22%2C51%2C22%2C47%2C11%2C10%2C13%2C62%2C34%2C59%2C16%2C21%2C32%2C58%2C80%2C56%2C25%2C11%2C40%2C58%2C56%2C48%2C54%2C73%2C7%2C73%2C74%2C17%2C2%2C8%2C5%2C8%2C39%2C72%2C43%2C27%2C44%2C52%2C20%2C62%2C16%2C30%2C35%2C48%2C80%2C41%2C5%2C6%2C4%2C45%2C26%2C23%2C21%2C15%2C55%2C26%2C66%2C69%2C59%2C13%2C27%2C4%2C10%2C31%2C14%2C43%2C23%2C18%2C12%2C2%2C53%2C80%2C26%2C4%2C59%2C71%2C74%2C59%2C9%2C62%2C32%2C56%2C11%2C80%2C31%2C66%2C51%2C19%2C24%2C41%2C2%2C13%2C11%2C18%2C19%2C24%2C61%2C66%2C35%2C69%2C42%2C11%2C47%2C80%2C49%2C11%2C4%2C10%2C57%2C22%2C13%2C75%2C72%2C32%2C60%2C45%2C57%2C66%2C40%2C3%2C60%2C16%2C40%2C60%2C28%2C53%2C68%2C27%2C3%2C16%2C46%2C80%2C56%2C10%2C78%2C18%2C54%2C54%2C80%2C8%2C2%2C7%2C28%2C27%2C50%2C51%2C28%2C2%2C73%2C8%2C38%2C56%2C19%2C74%2C53%2C8%2C27%2C3%2C77%2C35%2C49%2C55%2C23%2C69%2C12%2C54%2C22%2C2%2C16%2C27%2C66%2C37%2C48%2C33%2C66%2C48%2C27%2C44%2C14%2C5%2C34%2C80%2C55%2C35%2C35%2C16%2C7%2C57%2C8%2C2%2C29%2C75%2C42%2C63%2C8%2C11%2C10%2C27%2C29%2C41%2C9%2C54%2C13%2C64%2C71%2C9%2C8%2C63%2C60%2C69%2C19%2C33%2C9%2C14%2C28%2C19%2C7%2C11%2C37%2C50%2C20%2C70%2C5%2C58%2C54%2C61%2C68%2C42%2C4%2C22%2C32%2C21%2C30%2C5%2C46%2C54%2C13%2C5%2C10%2C64%2C57%2C31%2C9%2C23%2C48%2C13%2C71%2C72%2C10%2C9%2C45%2C38%2C29%2C37%2C10%2C40%2C37%2C17%2C80%2C71%2C64%2C33%2C68%2C9%2C29%2C41%2C15%2C2%2C31%2C80%2C32%2C40%2C58%2C37%2C8%2C19%2C22%2C68%2C38%2C46%2C4%2C31%2C4%2C26%2C11%2C34%2C69%2C71%2C23%2C53%2C3%2C15%2C18%2C18%2C60%2C4%2C47%2C2%2C53%2C80%2C33%2C46%2C57%2C62%2C16%2C5%2C2%2C59%2C25%2C34%2C23%2C15%2C15%2C17%2C8%2C44%2C3%2C13%2C3%2C36%2C5%2C30%2C10%2C10%2C79%2C49%2C60%2C54%2C65%2C49%2C2%2C14%2C5%2C74%2C41%2C35%2C29%2C24%2C8%2C11%2C13%2C7%2C9%2C6%2C34%2C4%2C43%2C70%2C21%2C3%2C4%2C37%2C4%2C3%2C54%2C28%2C34%2C15%2C49%2C70%2C43%2C13%2C20%2C19%2C40%2C3%2C60%2C39%2C27%2C67%2C59%2C63%2C40%2C80%2C5%2C59%2C13%2C28%2C5%2C80%2C22%2C32%2C6%2C61%2C71%2C9%2C10%2C48%2C80%2C67%2C11%2C10%2C10%2C13%2C10%2C62%2C20%2C19%2C80%2C74%2C16%2C18%2C6%2C17%2C21%2C28%2C48%2C13%2C30%2C21%2C49%2C9%2C43%2C2%2C11%2C70%2C20%2C23%2C32%2C62%2C74%2C4%2C49%2C36%2C28%2C21%2C22%2C34%2C11%2C16%2C30%2C61%2C18%2C7%2C23%2C80%2C7%2C47%2C25%2C2%2C15%2C31%2C12%2C2%2C22%2C54%2C69%2C55%2C11%2C13%2C37%2C8%2C2%2C22%2C5%2C50%2C51%2C43%2C4%2C21%2C23%2C17%2C44%2C65%2C10%2C30%2C11%2C27%2C4%2C61%2C61%2C47%2C8%2C5%2C64%2C46%2C70%2C13%2C3%2C58%2C49%2C9%2C36%2C5%2C35%2C11%2C18%2C20%2C19%2C12%2C8%2C55%2C49%2C29%2C6%2C50%2C33%2C60%2C34%2C61%2C15%2C53%2C69%2C75%2C17%2C44%2C80%2C16%2C20%2C24%2C31%2C29%2C64%2C8%2C4%2C39%2C8%2C2%2C50%2C13%2C45%2C17%2C11%2C80%2C8%2C80%2C2%2C6%2C33%2C80%2C79%2C41%2C49%2C2%2C68%2C75%2C31%2C80%2C80%2C52%2C67%2C67%2C14%2C6%2C2%2C72%2C2%2C53%2C80%2C2%2C16%2C13%2C35%2C50%2C68%2C65%2C45%2C49%2C65%2C14%2C14%2C27%2C51%2C12%2C3%2C80%2C5%2C51%2C27%2C22%2C24%2C40%2C54%2C55%2C20%2C17%2C2%2C37%2C65%2C7%2C16%2C44%2C18%2C47%2C18%2C62%2C58%2C49%2C32%2C8%2C47%2C14%2C18%2C70%2C31%2C43%2C11%2C5%2C15%2C76%2C37%2C5%2C6%2C80%2C42%2C19%2C51%2C24%2C60%2C59%2C50%2C14%2C60%2C38%2C77%2C8%2C4%2C36%2C10%2C54%2C4%2C58%2C15%2C24%2C42%2C23%2C22%2C72%2C3%2C6%2C23%2C6%2C51%2C29%2C36%2C3%2C52%2C50%2C26%2C14%2C80%2C50%2C16%2C17%2C55%2C21%2C11%2C24%2C47%2C69%2C34%2C12%2C78%2C11%2C42%2C18%2C15%2C8%2C64%2C19%2C74%2C6%2C19%2C26%2C18%2C64%2C48%2C15%2C9%2C71%2C7%2C59%2C9%2C36%2C29%2C9%2C58%2C24%2C80%2C3%2C10%2C4%2C35%2C51%2C22%2C10%2C35%2C8%2C3%2C23%2C19%2C33%2C2%2C8%2C62%2C57%2C14%2C26%2C22%2C80%2C32%2C17%2C16%2C14%2C6%2C32%2C51%2C10%2C77%2C5%2C71%2C74%2C34%2C5%2C73%2C19%2C60%2C73%2C5%2C8%2C23%2C41%2C6%2C3%2C2%2C36%2C27%2C6%2C2%2C44%2C17%2C29%2C62%2C43%2C3%2C54%2C7%2C54%2C38%2C54%2C37%2C17%2C60%2C10%2C72%2C12%2C2%2C51%2C59%2C5%2C71%2C16%2C2%2C34%2C4%2C61%2C65%2C49%2C33%2C12%2C49%2C60%2C63%2C51%2C62%2C65%2C9%2C46%2C80%2C14%2C25%2C40%2C21%2C9%2C2%2C23%2C28%2C22%2C80%2C30%2C36%2C4%2C27%2C19%2C46%2C11%2C43%2C51%2C15%2C9%2C2%2C25%2C42%2C65%2C33%2C54%2C49%2C13%2C8%2C69%2C44%2C19%2C18%2C62%2C7%2C54%2C68%2C6%2C8%2C9%2C17%2C2%2C14%2C64%2C50%2C45%2C41%2C16%2C26%2C11%2C5%2C49%2C11%2C77%2C63%2C4%2C21%2C9%2C3%2C56%2C26%2C11%2C30%2C50%2C36%2C79%2C37%2C19%2C3%2C24%2C6%2C3%2C64%2C2%2C47%2C6%2C8%2C14%2C30%2C13%2C9%2C16%2C20%2C11%2C9%2C4%2C8%2C25%2C58%2C6%2C48%2C69%2C54%2C21%2C41%2C72%2C15%2C2%2C26%2C39%2C16%2C10%2C14%2C3%2C47%2C63%2C78%2C80%2C36%2C80%2C4%2C2%2C63%2C31%2C60%2C17%2C8%2C80%2C28%2C26%2C50%2C3%2C47%2C38%2C65%2C64%2C19%2C47%2C76%2C43%2C22%2C80%2C43%2C24%2C6%2C9%2C7%2C17%2C80%2C5%2C64%2C6%2C4%2C59%2C40%2C46%2C55%2C11%2C58%2C10%2C36%2C26%2C7%2C12%2C63%2C17%2C74%2C27%2C6%2C18%2C9%2C14%2C74%2C11%2C52%2C8%2C70%2C2%2C80%2C54%2C74%2C3%2C63%2C37%2C6%2C65%2C22%2C61%2C13%2C62%2C28%2C63%2C38%2C55%2C4%2C64%2C18%2C44%2C11%2C72%2C6%2C41%2C58%2C10%2C32%2C10%2C16%2C7%2C50%2C33%2C2%2C13%2C66%2C21%2C64%2C56%2C11%2C64%2C46%2C59%2C9%2C68%2C56%2C2%2C47%2C80%2C57%2C16%2C80%2C7%2C2%2C39%2C11%2C60%2C38%2C10%2C23%2C22%2C2%2C9%2C19%2C25%2C34%2C2%2C77%2C37%2C69%2C14%2C11%2C37%2C52%2C7%2C13%2C36%2C51%2C20%2C62%2C62%2C52%2C14%2C10%2C17%2C10%2C16%2C5%2C39%2C17%2C3%2C6%2C2%2C3%2C37%2C31%2C36%2C8%2C37%2C65%2C23%2C75%2C11%2C11%2C21%2C58%2C54%2C23%2C14%2C4%2C8%2C11%2C30%2C51%2C44%2C70%2C36%2C55%2C37%2C49%2C5%2C10%2C67%2C80%2C43%2C5%2C2%2C68%2C13%2C15%2C8%2C43%2C57%2C5%2C8%2C72%2C45%2C11%2C26%2C20%2C7%2C73%2C48%2C10%2C45%2C12%2C58%2C35%2C2%2C55%2C61%2C5%2C64%2C18%2C77%2C80%2C65%2C3%2C4%2C7%2C80%2C38%2C17%2C2%2C57%2C34%2C34%2C73%2C53%2C6%2C63%2C26%2C67%2C2%2C63%2C14%2C33%2C25%2C16%2C14%2C9%2C7%2C7%2C6%2C35%2C60%2C43%2C24%2C63%2C25%2C5%2C24%2C56%2C11%2C56%2C18%2C3%2C72%2C46%2C17%2C64%2C20%2C50%2C51%2C20%2C7%2C13%2C60%2C54%2C56%2C18%2C45%2C39%2C16%2C2%2C21%2C11%2C43%2C64%2C80%2C60%2C6%2C10%2C8%2C42%2C29%2C71%2C21%2C8%2C8%2C51%2C79%2C3%2C13%2C40%2C6%2C11%2C11%2C76%2C56%2C8%2C13%2C12%2C80%2C9%2C68%2C12%2C80%2C19%2C2%2C68%2C25%2C7%2C35%2C27%2C46%2C35%2C80%2C60%2C12%2C8%2C80%2C15%2C50%2C58%2C7%2C32%2C75%2C9%2C8%2C13%2C10%2C38%2C10%2C17%2C32%2C51%2C2%2C14%2C19%2C2%2C36%2C22%2C13%2C5%2C9%2C46%2C4%2C61%2C43%2C12%2C49%2C2%2C12%2C33%2C80%2C32%2C64%2C52%2C8%2C64%2C8%2C23%2C15%2C58%2C5%2C80%2C16%2C30%2C43%2C21%2C44%2C42%2C70%2C24%2C69%2C44%2C6%2C49%2C33%2C47%2C41%2C3%2C58%2C4%2C34%2C69%2C9%2C80%2C50%2C62%2C28%2C49%2C64%2C42%2C8%2C6%2C47%2C43%2C11%2C18%2C20%2C67%2C50%2C19%2C4%2C55%2C61%2C14%2C45%2C70%2C15%2C18%2C16%2C30%2C51%2C51%2C2%2C43%2C29%2C28%2C57%2C20%2C63%2C40%2C22%2C80%2C80%2C33%2C54%2C22%2C64%2C9%2C61%2C24%2C34%2C18%2C8%2C34%2C45%2C3%2C2%2C42%2C24%2C32%2C10%2C32%2C80%2C51%2C39%2C79%2C31%2C75%2C4%2C22%2C80%2C52%2C8%2C36%2C74%2C47%2C78%2C33%2C8%2C13%2C80%2C11%2C41%2C72%2C9%2C7%2C63%2C4%2C43%2C64%2C14%2C63%2C20%2C11%2C21%2C2%2C44%2C39%2C36%2C43%2C2%2C16%2C55%2C56%2C44%2C65%2C33%2C29%2C8%2C5%2C39%2C70%2C74%2C4%2C2%2C25%2C3%2C14%2C58%2C23%2C3%2C47%2C2%2C56%2C62%2C20%2C10%2C12%2C32%2C57%2C37%2C8%2C6%2C8%2C6%2C47%2C16%2C2%2C4%2C17%2C17%2C8%2C7%2C80%2C56%2C51%2C3%2C69%2C27%2C16%2C66%2C24%2C78%2C58%2C80%2C5%2C49%2C7%2C72%2C11%2C14%2C18%2C16%2C17%2C4%2C71%2C15%2C23%2C22%2C21%2C11%2C66%2C17%2C32%2C16%2C57%2C53%2C9%2C29%2C41%2C46%2C67%2C56%2C62%2C50%2C50%2C15%2C80%2C19%2C63%2C74%2C2%2C22%2C25%2C56%2C7%2C29%2C45%2C9%2C66%2C58%2C64%2C5%2C11%2C6%2C2%2C31%2C34%2C65%2C40%2C49%2C67%2C29%2C53%2C38%2C2%2C19%2C27%2C4%2C66%2C57%2C61%2C66%2C69%2C60%2C67%2C5%2C15%2C56%2C27%2C42%2C42%2C31%2C17%2C43%2C3%2C3%2C22%2C7%2C3%2C19%2C51%2C21%2C5%2C15%2C56%2C24%2C3%2C8%2C52%2C66%2C69%2C8%2C3%2C6%2C61%2C4%2C70%2C33%2C11%2C4%2C8%2C80%2C65%2C2%2C73%2C43%2C36%2C38%2C22%2C23%2C17%2C42%2C42%2C57%2C80%2C11%2C2%2C63%2C56%2C40%2C18%2C6%2C4%2C43%2C51%2C16%2C79%2C62%2C38%2C73%2C14%2C23%2C46%2C12%2C29%2C72%2C21%2C2%2C16%2C63%2C49%2C38%2C38%2C2%2C47%2C53%2C16%2C31%2C19%2C7%2C59%2C17%2C30%2C47%2C39%2C40%2C49%2C14%2C30%2C13%2C46%2C20%2C23%2C62%2C4%2C16%2C20%2C22%2C29%2C79%2C22%2C8%2C35%2C60%2C30%2C63%2C63%2C25%2C43%2C4%2C13%2C54%2C7%2C40%2C38%2C16%2C49%2C80%2C30%2C25%2C60%2C47%2C46%2C5%2C2%2C73%2C7%2C6%2C35%2C36%2C5%2C65%2C49%2C36%2C2%2C5%2C4%2C17%2C53%2C9%2C57%2C56%2C21%2C61%2C44%2C51%2C2%2C42%2C16%2C2%2C71%2C7%2C12%2C16%2C19%2C10%2C6%2C52%2C49%2C59%2C22%2C2%2C53%2C31%2C49%2C51%2C13%2C31%2C37%2C42%2C52%2C36%2C69%2C36%2C50%2C60%2C55%2C80%2C52%2C34%2C12%2C19%2C65%2C29%2C70%2C13%2C3%2C56%2C58%2C14%2C5%2C32%2C9%2C70%2C80%2C32%2C7%2C41%2C21%2C60%2C3%2C80%2C64%2C49%2C66%2C33%2C28%2C25%2C7%2C30%2C13%2C10%2C13%2C9%2C6%2C9%2C49%2C19%2C16%2C7%2C6%2C73%2C10%2C52%2C7%2C6%2C27%2C19%2C50%2C12%2C8%2C35%2C22%2C17%2C32%2C50%2C6%2C5%2C61%2C14%2C11%2C30%2C78%2C51%2C62%2C52%2C26%2C18%2C62%2C19%2C2%2C6%2C21%2C7%2C8%2C39%2C47%2C51%2C15%2C61%2C18%2C27%2C2%2C4%2C55%2C80%2C17%2C23%2C50%2C47%2C12%2C69%2C25%2C56%2C32%2C3%2C21%2C35%2C8%2C30%2C80%2C36%2C80%2C50%2C23%2C20%2C9%2C3%2C80%2C5%2C3%2C7%2C80%2C43%2C3%2C54%2C49%2C38%2C35%2C7%2C34%2C7%2C7%2C2%2C32%2C38%2C12%2C15%2C41%2C5%2C30%2C16%2C60%2C55%2C56%2C2%2C76%2C44%2C8%2C67%2C49%2C21%2C80%2C60%2C12%2C35%2C13%2C3%2C29%2C53%2C49%2C4%2C80%2C12%2C18%2C59%2C42%2C51%2C10%2C35%2C8%2C7%2C35%2C69%2C4%2C74%2C17%2C53%2C30%2C80%2C47%2C27%2C59%2C24%2C5%2C20%2C40%2C42%2C36%2C80%2C12%2C3%2C53%2C19%2C11%2C18%2C4%2C45%2C12%2C5%2C33%2C36%2C3%2C19%2C4%2C49%2C30%2C17%2C10%2C28%2C72%2C56%2C62%2C27%2C26%2C43%2C77%2C20%2C68%2C4%2C10%2C16%22%0A%20%20%20%20_test_heights%20%3D%20%22164.7%2C105.4%2C174.3%2C169.6%2C120.2%2C171.3%2C146.7%2C159.5%2C171.2%2C170.7%2C166.2%2C149.9%2C177.1%2C180.9%2C170.4%2C140.3%2C162.8%2C170.9%2C163.8%2C154.9%2C183.3%2C175.3%2C129.1%2C156.5%2C184.5%2C164.2%2C155.6%2C174.5%2C166.5%2C164.4%2C168.3%2C162%2C165.9%2C168.7%2C174.5%2C156.7%2C169%2C187%2C172.1%2C169.8%2C110.1%2C152.5%2C173.7%2C97.4%2C155.1%2C169.9%2C164.9%2C163.5%2C166.7%2C163.4%2C173.2%2C176.1%2C123.5%2C150.6%2C105.3%2C131.2%2C167.6%2C164.8%2C166.3%2C145.5%2C183.8%2C145%2C179.9%2C164.8%2C163.6%2C124.3%2C162.6%2C132.6%2C154%2C162.4%2C88.9%2C122.1%2C132.4%2C169.2%2C160.8%2C94.2%2C87.2%2C113%2C164.9%2C162.6%2C142.6%2C173.1%2C191.5%2C178.3%2C158.7%2C184%2C161.8%2C182.3%2C153.4%2C174.8%2C171.6%2C163.7%2C165.3%2C172%2C173.1%2C184.6%2C114.3%2C177%2C159.8%2C171.7%2C154.8%2C115.9%2C172.8%2C165.8%2C167.4%2C166.5%2C148.9%2C175.8%2C186.2%2C178.9%2C140.8%2C161.6%2C158.1%2C146.4%2C163.7%2C137.4%2C156.8%2C163.4%2C132.5%2C189.5%2C192.6%2C184.4%2C173%2C183.2%2C167.9%2C164%2C167%2C153.1%2C164.5%2C179.9%2C94.1%2C163.2%2C160.9%2C130.8%2C162.7%2C148.7%2C149.5%2C182.9%2C171.4%2C173.6%2C126.3%2C156%2C173.1%2C174.4%2C179.6%2C158%2C162.3%2C160.7%2C154.6%2C92.7%2C176.4%2C181.9%2C168.1%2C160.9%2C138.3%2C177.2%2C131%2C182.2%2C173.6%2C159.1%2C163.6%2C171.2%2C161.8%2C170.2%2C156.6%2C168.7%2C180%2C117.7%2C176.3%2C164%2C170.4%2C159.1%2C172.2%2C168.5%2C175.8%2C149.4%2C155.3%2C165.3%2C163.8%2C142%2C176.5%2C91.6%2C152.3%2C165.3%2C166.4%2C109.9%2C122.3%2C164.1%2C125.7%2C98.4%2C163%2C183%2C166.1%2C86.3%2C137.3%2C168.2%2C156.4%2C164.7%2C174.1%2C173.9%2C168.7%2C143.1%2C159%2C177.5%2C167.9%2C164.4%2C170.2%2C166%2C154.6%2C177.8%2C171.4%2C103.3%2C113.1%2C167.6%2C153.8%2C168.7%2C149.4%2C193.3%2C166.5%2C151.7%2C169.7%2C168.8%2C152.1%2C172.6%2C164.3%2C157.6%2C179.1%2C158.8%2C159.2%2C121.6%2C177%2C159.1%2C169.9%2C144.5%2C160.8%2C177.3%2C173.8%2C176.1%2C155.1%2C85.5%2C181.2%2C158.4%2C115.9%2C157%2C161.6%2C179.3%2C148%2C116.7%2C169.9%2C162.7%2C183.3%2C160.7%2C171.2%2C169.2%2C156.2%2C157.3%2C172.1%2C116.9%2C103.9%2C159.8%2C185.7%2C184.5%2C178.9%2C165.9%2C88.3%2C156.4%2C154.7%2C152.3%2C172.8%2C155.6%2C153.2%2C170.2%2C172.2%2C89.8%2C161.6%2C135.2%2C177.1%2C162.1%2C162.4%2C156.2%2C160.9%2C178%2C120.8%2C147%2C146.4%2C142.4%2C169.3%2C156.1%2C165.8%2C92.1%2C86.9%2C163.1%2C174.6%2C119.6%2C188.9%2C173%2C176.7%2C169.3%2C154.3%2C168.6%2C166.1%2C174.3%2C161.9%2C164.9%2C182.7%2C170.8%2C169.7%2C143.2%2C160.2%2C158.9%2C140.7%2C157.4%2C184.3%2C168%2C153.6%2C161.1%2C146.6%2C136.2%2C159.6%2C178.8%2C101.5%2C153.6%2C169.1%2C118.5%2C163.8%2C170.5%2C87.2%2C164.6%2C151.6%2C95%2C157.3%2C158%2C156.6%2C156.1%2C177.6%2C180.6%2C158.4%2C182.5%2C160.7%2C149.3%2C160.9%2C136.5%2C177.8%2C162.1%2C186.7%2C166.1%2C151.4%2C156.6%2C185.9%2C159.7%2C99.3%2C166.5%2C163.8%2C167.3%2C105.4%2C191.8%2C160.9%2C95.6%2C162.1%2C157.5%2C169.4%2C103.9%2C175.4%2C152.7%2C109.6%2C172.1%2C159.4%2C182.7%2C164.3%2C158.6%2C164.3%2C150.4%2C176.3%2C166.3%2C165.7%2C179.1%2C166.5%2C166.4%2C171.3%2C104.4%2C182.4%2C97.5%2C170.8%2C165.6%2C132.5%2C155.5%2C157.9%2C160%2C177%2C110.3%2C170.4%2C137.2%2C160.9%2C163.3%2C159.1%2C172.1%2C103%2C169.6%2C159.8%2C170.3%2C162.3%2C102.3%2C176.7%2C158.6%2C161.8%2C165.2%2C185.1%2C127.5%2C171.8%2C139.6%2C167.1%2C162.8%2C162.5%2C181.3%2C98.2%2C166.6%2C166.2%2C158.8%2C110%2C172.9%2C95.8%2C173.2%2C162.9%2C143.1%2C156.4%2C152.8%2C157.5%2C179.8%2C175.7%2C134.9%2C176.9%2C164.1%2C155.4%2C156%2C102.1%2C124.9%2C156%2C162.4%2C126.5%2C132.5%2C181.3%2C166.5%2C172.9%2C174%2C168.6%2C165%2C108.4%2C154.4%2C160.9%2C170.2%2C162.1%2C157.9%2C183.2%2C87.2%2C162.3%2C126%2C146.2%2C97.8%2C170%2C161.2%2C133.9%2C97.2%2C159.9%2C181.5%2C160.5%2C178.6%2C175.9%2C115.2%2C179%2C156.8%2C176.6%2C174.4%2C104.7%2C174.5%2C104.3%2C169.4%2C179.5%2C151.6%2C98.9%2C157.7%2C156.7%2C157.5%2C169.6%2C154.3%2C147%2C168.9%2C169.1%2C179.7%2C165.9%2C166.5%2C164.2%2C118.8%2C159%2C182.1%2C177.2%2C171.1%2C126.3%2C150.2%2C119.6%2C164.9%2C182.8%2C178.9%2C177.2%2C155.7%2C162.9%2C167.7%2C112.5%2C155.8%2C166.6%2C146.4%2C181.9%2C114.5%2C159%2C152.7%2C159%2C156.2%2C167%2C169.2%2C157.4%2C186.8%2C161.1%2C130.5%2C177.7%2C180.5%2C160.1%2C169.4%2C176.5%2C182%2C148.5%2C168%2C145.4%2C172%2C163.1%2C109.6%2C180%2C177.4%2C159.4%2C165.2%2C157.5%2C163.3%2C158.2%2C115.2%2C153.6%2C166.9%2C172.5%2C184.1%2C174.1%2C166.6%2C96%2C170.5%2C177.4%2C162.8%2C155.9%2C116.8%2C182.3%2C148.7%2C163.2%2C158.2%2C131%2C166.2%2C163.9%2C172.8%2C157.7%2C176.1%2C114.3%2C170.2%2C152.2%2C162%2C155.7%2C171.7%2C156.6%2C163.2%2C174%2C190.5%2C142.8%2C155%2C164%2C168.9%2C179.6%2C154.2%2C119.3%2C181.4%2C176%2C138.4%2C166.6%2C173.7%2C172.1%2C138.8%2C90.7%2C157.2%2C97.2%2C153.4%2C163.7%2C153.7%2C171.1%2C188.6%2C180.8%2C189.8%2C100.8%2C165.8%2C158%2C92.4%2C97.7%2C118.8%2C157%2C162.8%2C102.4%2C148.5%2C183.3%2C163.5%2C169.6%2C176.7%2C183%2C168.7%2C167.9%2C175%2C153.8%2C180.3%2C192.8%2C127.2%2C97.3%2C170.8%2C154.2%2C170.3%2C154.8%2C117.4%2C158.6%2C171.2%2C164.6%2C175.7%2C164.5%2C177%2C162.1%2C154%2C148%2C158.5%2C182.5%2C161.7%2C158.1%2C159.4%2C166.2%2C171.3%2C179.7%2C176.8%2C166.3%2C161.4%2C172.2%2C132.3%2C123.2%2C174.8%2C100%2C148.6%2C161.5%2C181.3%2C157.8%2C167.8%2C114.7%2C110.2%2C169.6%2C121.6%2C155.1%2C178.7%2C125.9%2C175.7%2C132.5%2C151.7%2C175.5%2C163.5%2C167.9%2C175.2%2C146.7%2C167.1%2C171.6%2C191.8%2C168.8%2C166.3%2C150.4%2C183.1%2C156.7%2C165.8%2C154.2%2C166.2%2C172.2%2C162.2%2C183.3%2C143.2%2C158.8%2C163.5%2C157.1%2C161.7%2C175.7%2C136%2C143.3%2C166.1%2C166%2C178.4%2C166.5%2C105.4%2C150.8%2C157.2%2C106.7%2C146.8%2C184.1%2C90.3%2C160.6%2C179.9%2C111.1%2C179.6%2C91.4%2C170.6%2C172.7%2C176.3%2C157.5%2C168.6%2C103.2%2C171.1%2C156.5%2C132.7%2C161.3%2C179.4%2C163.6%2C165.9%2C165.5%2C171.3%2C173.1%2C162.5%2C158.2%2C163.8%2C180.9%2C170%2C184.9%2C165.4%2C157.6%2C151.2%2C130.6%2C183.7%2C100%2C148.4%2C165.7%2C173.4%2C157.6%2C181.8%2C152.4%2C111.3%2C139.8%2C153.4%2C168.1%2C170.4%2C169.2%2C152.5%2C161.7%2C177.4%2C169.5%2C164.7%2C165.3%2C164.9%2C156.1%2C182.1%2C173.8%2C122.6%2C161.1%2C157.8%2C159%2C189.8%2C127.8%2C165.9%2C162.4%2C153.2%2C173.2%2C161.2%2C176%2C161.1%2C171.7%2C172.3%2C167.2%2C105.3%2C167.8%2C168.2%2C170.7%2C172.5%2C125.1%2C96.2%2C170.3%2C154.9%2C190.9%2C95.3%2C163.9%2C183.9%2C182.4%2C162.8%2C153%2C178.4%2C123.8%2C111.9%2C178.4%2C167%2C195.9%2C173.7%2C122%2C163.6%2C149.6%2C98.4%2C88.2%2C158.8%2C149.9%2C163.7%2C136.4%2C84.8%2C157.4%2C157.2%2C166.2%2C157.4%2C160.8%2C148%2C156.1%2C120.9%2C179.6%2C174.8%2C172.5%2C157.4%2C178.5%2C154.9%2C172.2%2C166.9%2C173.2%2C103.3%2C175.9%2C139.5%2C150.2%2C181.6%2C169.7%2C166.1%2C165.8%2C94.6%2C169.4%2C138%2C161.4%2C165.5%2C178.3%2C129.8%2C143.8%2C172.8%2C134.1%2C169.6%2C157.2%2C156.1%2C143.4%2C185.6%2C157.9%2C184.2%2C180.9%2C163.8%2C159.7%2C158.6%2C126.9%2C165.8%2C144.2%2C162%2C163.9%2C172%2C89.5%2C172.1%2C157.5%2C170.6%2C171.4%2C161.9%2C168.9%2C169.4%2C159.2%2C161%2C113.2%2C183.3%2C150.6%2C175%2C159.2%2C172.7%2C177.1%2C135%2C163.6%2C162.3%2C167.1%2C153.7%2C160.2%2C154.9%2C167.4%2C161.7%2C178.2%2C129.1%2C132.9%2C172.4%2C89.2%2C155.8%2C179.5%2C162.4%2C123.9%2C182.3%2C149.1%2C169.4%2C174.8%2C182.9%2C179.1%2C171.9%2C175.7%2C163.2%2C160.3%2C170.7%2C153.6%2C157.7%2C153.3%2C159%2C177.7%2C163.7%2C87%2C168.7%2C144.4%2C153.1%2C186.9%2C166%2C157.5%2C176.2%2C156%2C163.7%2C158.4%2C177.3%2C163.2%2C94.7%2C90.5%2C155.8%2C176.8%2C155.1%2C153.9%2C90.8%2C167%2C155.1%2C168.3%2C167.4%2C146.7%2C159.3%2C159.1%2C97.2%2C169.7%2C120.7%2C96.9%2C159.2%2C148.1%2C160.5%2C150.9%2C94.1%2C185.1%2C164.9%2C168%2C165.9%2C175.1%2C177.4%2C104%2C168.6%2C145.9%2C151%2C176.5%2C178.9%2C172.4%2C116.7%2C144.8%2C170.7%2C147.6%2C127.6%2C161%2C153.2%2C148.1%2C106.3%2C116.9%2C162.8%2C161.9%2C148%2C145.6%2C168.9%2C159.1%2C173.5%2C183.4%2C178.1%2C181.5%2C162.9%2C159.1%2C160.5%2C166.4%2C172%2C168.7%2C167.3%2C151%2C104.9%2C163%2C164.6%2C137.9%2C168.7%2C173.1%2C178.2%2C169.1%2C164.3%2C156.6%2C175.3%2C157.5%2C156.2%2C163.4%2C182.8%2C164%2C161.7%2C169.3%2C121.3%2C175.4%2C173.6%2C176.2%2C166.1%2C164.5%2C172.1%2C151.4%2C172.9%2C181.7%2C184.7%2C166.8%2C170.5%2C153%2C143.1%2C161.6%2C184.2%2C162.6%2C164%2C152%2C169.1%2C157.9%2C184.7%2C156.9%2C170.5%2C182.8%2C146.8%2C174.3%2C129%2C182.5%2C177.4%2C172.6%2C150.9%2C132.7%2C163%2C169.4%2C171.5%2C178.8%2C160.7%2C155.7%2C181.1%2C165.1%2C104.9%2C90.2%2C163.8%2C136.8%2C170.7%2C156.7%2C178.7%2C120.4%2C181.6%2C166.1%2C152.5%2C169.5%2C175.3%2C96.7%2C158.7%2C169.4%2C182.2%2C176.4%2C165.3%2C150.3%2C184%2C184.7%2C176.6%2C175%2C183.7%2C175.4%2C114.5%2C156.6%2C159.8%2C171.6%2C171.5%2C177.2%2C178.4%2C153.2%2C156.2%2C187.4%2C165.4%2C155.2%2C192%2C172.3%2C172.9%2C164.1%2C173.2%2C190.4%2C153.4%2C170%2C165.9%2C149.4%2C174%2C174.6%2C183.2%2C166.1%2C157%2C120%2C174.9%2C179.5%2C115.6%2C157.6%2C171.8%2C102.4%2C175.7%2C181.5%2C180.3%2C108.6%2C164.1%2C168.4%2C157.4%2C173.2%2C150.3%2C153.7%2C161.1%2C179.8%2C158.1%2C181.1%2C150.9%2C176.3%2C187%2C177.6%2C171.7%2C166%2C174.4%2C170.3%2C166.4%2C142.4%2C185.3%2C156.6%2C166.7%2C165.5%2C187.2%2C166.2%2C120.4%2C159.5%2C155%2C142.7%2C177.8%2C122.6%2C170.4%2C176.1%2C166.8%2C163.6%2C160%2C180.3%2C99.3%2C183.8%2C178.4%2C169.3%2C180.2%2C157.2%2C160.9%2C168.3%2C148.8%2C162.6%2C105%2C176.8%2C188.7%2C185.8%2C132.3%2C147.8%2C161.4%2C169.9%2C150.1%2C172.8%2C175.4%2C184.8%2C161.3%2C179.5%2C165.9%2C146.3%2C162%2C168.1%2C172.6%2C169.4%2C162.9%2C179.2%2C158%2C179%2C199.6%2C172.3%2C99%2C104.2%2C173.8%2C156.7%2C152.2%2C183.6%2C165.7%2C118.2%2C167.2%2C178.7%2C153.2%2C179.6%2C179.7%2C112.9%2C172%2C150.3%2C165.7%2C161.5%2C162.3%2C133.3%2C175.8%2C182%2C172.4%2C166%2C153.1%2C173.2%2C181%2C145.3%2C90.6%2C159%2C177.5%2C147.9%2C171.7%2C174.8%2C106.4%2C139.5%2C172.4%2C169.7%2C160.1%2C172.2%2C161.3%2C157.3%2C159.8%2C135.7%2C182.7%2C179.5%2C149.8%2C169.4%2C180%2C172.7%2C171.9%2C102.7%2C162.9%2C171.2%2C158.4%2C179.1%2C161.2%2C138.4%2C168.6%2C160.2%2C190.5%2C128.2%2C146%2C179.1%2C152.1%2C125.3%2C158.5%2C101%2C107.3%2C129.5%2C171.2%2C146.4%2C172.5%2C101.5%2C163.7%2C163.4%2C184.7%2C163.7%2C167.4%2C164.4%2C168.9%2C152%2C182.9%2C167.6%2C140.7%2C175.7%2C170.4%2C161.7%2C179.6%2C173.5%2C163.7%2C162.3%2C168.7%2C167.3%2C184.8%2C181.2%2C174.1%2C101.8%2C172.8%2C166%2C173.2%2C164.3%2C169.2%2C184.4%2C114.6%2C161.2%2C180.4%2C175.3%2C152.9%2C170.2%2C160.9%2C161.6%2C161.8%2C121.6%2C154.8%2C187%2C153.9%2C167.6%2C163.3%2C163.4%2C171.3%2C160.6%2C121.2%2C180.6%2C175.2%2C172.7%2C159.4%2C158.2%2C174.3%2C155%2C179.3%2C181.4%2C88.4%2C182.4%2C165.3%2C173.9%2C163.3%2C150.3%2C169.3%2C148.3%2C171.9%2C159.4%2C180.9%2C167.2%2C144.3%2C137.5%2C101.6%2C157.4%2C104.3%2C176.4%2C159.5%2C175.8%2C162.5%2C154.3%2C142.1%2C181.9%2C170.5%2C156.5%2C165.2%2C153.8%2C172.8%2C145.2%2C159.7%2C179%2C161.5%2C166.1%2C167.8%2C155.9%2C154.6%2C168.9%2C135.8%2C120.3%2C141.8%2C160.8%2C151.5%2C186.3%2C159.9%2C170.8%2C177.1%2C162.8%2C156.9%2C160.3%2C170%2C148.4%2C145.5%2C178.9%2C159.8%2C157.3%2C164.5%2C165.5%2C167.4%2C134.7%2C156.7%2C174%2C161.2%2C160%2C142.7%2C170.5%2C169.6%2C154%2C161.2%2C153.4%2C130.7%2C162%2C166%2C180.3%2C162.8%2C170.6%2C173.4%2C121.2%2C170.7%2C168.3%2C169.2%2C103.4%2C164.1%2C163.1%2C168.5%2C167.5%2C96.5%2C163.6%2C184.5%2C169.3%2C112.8%2C186.1%2C175%2C172.7%2C161.9%2C151.3%2C174.4%2C159.1%2C160.6%2C151.8%2C122.5%2C162.4%2C93.5%2C171.2%2C173.7%2C172.1%2C101.5%2C178.2%2C136.3%2C161.5%2C191.2%2C122.5%2C165.1%2C169.4%2C161.7%2C170%2C181.4%2C156.3%2C157.5%2C174%2C166%2C168.1%2C128.1%2C153.9%2C165.7%2C175.6%2C126.3%2C164.8%2C104.2%2C175.2%2C167.3%2C193.8%2C155.1%2C153.8%2C181%2C160.6%2C162.1%2C151.5%2C175.7%2C166.8%2C156.1%2C179.4%2C176.9%2C127.2%2C172.7%2C153.5%2C162.9%2C102.4%2C146.6%2C160.8%2C160.3%2C169.6%2C162.9%2C168.9%2C175.9%2C172.2%2C117.8%2C144.5%2C174%2C164.3%2C155.3%2C153.8%2C156.3%2C172.3%2C164.1%2C146.4%2C184.8%2C169.6%2C179.9%2C183.3%2C171.7%2C151.6%2C172%2C169.1%2C176.5%2C153.3%2C187.8%2C167.2%2C162.3%2C153.9%2C150.6%2C128.2%2C157.1%2C169.3%2C101.5%2C148.2%2C160.2%2C175.4%2C173.1%2C148.8%2C161.2%2C154%2C184.9%2C163.9%2C166.4%2C86.2%2C162.2%2C122%2C177.4%2C161%2C182.7%2C164.1%2C98.3%2C132%2C156.8%2C177.1%2C141.6%2C164.8%2C171.7%2C172.5%2C163.4%2C168.6%2C159.4%2C164.3%2C180%2C176.8%2C174.8%2C126.3%2C130.4%2C167.6%2C179.5%2C102.2%2C155.9%2C165.9%2C189.8%2C171.6%2C169.8%2C176.3%2C185.2%2C163.4%2C143%2C160.8%2C137.6%2C164.7%2C161.8%2C164.6%2C160.6%2C170.2%2C179.6%2C187.1%2C99.1%2C172.2%2C167.4%2C168.6%2C165.3%2C97.7%2C158.4%2C157.3%2C120.9%2C186.6%2C178.1%2C129%2C168.5%2C153.5%2C89.6%2C164.2%2C119.6%2C172.8%2C130%2C175.7%2C123.3%2C184.3%2C146.8%2C129.2%2C175%2C135%2C170.2%2C168.7%2C152.5%2C156%2C163.5%2C147.8%2C143.3%2C158.4%2C165.2%2C168%2C170.3%2C190.2%2C187.7%2C152.3%2C164.5%2C170.2%2C166.2%2C170.8%2C173%2C95.3%2C184.4%2C162%2C101.4%2C86.7%2C182.6%2C155.8%2C108.2%2C165.5%2C171.1%2C171.7%2C182.6%2C165.6%2C142.4%2C158.3%2C164.1%2C100.3%2C176.7%2C141.6%2C166.8%2C165.4%2C158.6%2C149%2C175.6%2C155%2C162.9%2C145.9%2C153.1%2C169.5%2C158.6%2C154.7%2C170.6%2C174.7%2C93.4%2C162.8%2C177.4%2C105.3%2C175.2%2C178.3%2C168.6%2C163.6%2C174.4%2C154.2%2C157.8%2C109.3%2C179.4%2C162.5%2C158.7%2C177.8%2C177.6%2C121.4%2C135.2%2C181.5%2C121.7%2C170.6%2C133.2%2C161.1%2C153.2%2C175.4%2C160.6%2C107.7%2C170.8%2C101.7%2C133.5%2C158.2%2C108.7%2C153.9%2C174.7%2C151.1%2C170.6%2C177.7%2C153.6%2C174.3%2C91.8%2C177.7%2C162.4%2C184.1%2C179.7%2C163.3%2C157%2C175.5%2C138.5%2C107.2%2C105.5%2C184.8%2C174.6%2C176.5%2C161.8%2C142.7%2C143.6%2C140.6%2C182%2C177.7%2C137.4%2C170.3%2C163.6%2C113%2C168.9%2C180.7%2C170.9%2C180.2%2C154.6%2C198.2%2C185.1%2C175.2%2C177.6%2C158.1%2C148.7%2C159%2C175.9%2C163%2C178.2%2C188.2%2C109%2C160.9%2C164.1%2C143.1%2C171.9%2C157.9%2C165.8%2C164%2C175.8%2C139.6%2C141%2C166.7%2C178.3%2C164.9%2C174.9%2C159%2C175%2C158%2C163.9%2C166.1%2C150.7%2C170.1%2C150.6%2C183.8%2C160.6%2C152.3%2C173.1%2C165.6%2C160.5%2C129%2C170.8%2C168.1%2C169%2C86.3%2C129.9%2C112.3%2C127%2C166.8%2C169.6%2C156.5%2C189.4%2C167.9%2C157.4%2C182.6%2C168.9%2C163.1%2C160.5%2C167.3%2C185.4%2C157.9%2C164%2C113.7%2C121.5%2C108.3%2C160.6%2C180%2C156.4%2C170.4%2C165%2C176.7%2C170.3%2C163.8%2C156.1%2C164.2%2C166.2%2C151.9%2C112.5%2C151.7%2C170.6%2C164.9%2C174%2C178.3%2C164.6%2C143%2C87.5%2C159.6%2C181.6%2C165.7%2C116.5%2C181.8%2C152.8%2C159.5%2C173.9%2C130.4%2C148.6%2C156.5%2C160.3%2C146.9%2C153.7%2C158.5%2C189.4%2C168.2%2C176%2C168%2C174.9%2C91.1%2C156%2C132.5%2C170.5%2C166.1%2C156.8%2C150.8%2C190%2C177.6%2C152.4%2C167.7%2C157.3%2C163%2C179%2C168.3%2C154.3%2C105.2%2C139.7%2C177.2%2C164.6%2C151.6%2C185.9%2C169.6%2C178.3%2C172.2%2C179.7%2C151.6%2C173.8%2C154.1%2C97.4%2C155.7%2C183.3%2C167.3%2C173.2%2C173.3%2C165.3%2C154.2%2C162.3%2C94.7%2C171.2%2C186.3%2C153.2%2C173.1%2C147.6%2C154.2%2C159.7%2C172.6%2C165.5%2C176.4%2C134.7%2C92.3%2C134.8%2C152.2%2C158.1%2C172.1%2C159.4%2C182%2C86.2%2C161.7%2C140.7%2C176.3%2C179.9%2C181%2C173.1%2C157.9%2C130.3%2C173.4%2C95.4%2C157.2%2C186.6%2C172.9%2C193.8%2C164.1%2C170.2%2C157%2C158.6%2C168.1%2C86.8%2C170%2C175.7%2C160%2C184.8%2C168.1%2C147.7%2C154.2%2C156.9%2C164.3%2C170.1%2C159.4%2C119.8%2C171.6%2C173.5%2C182.1%2C178.7%2C185.9%2C167.6%2C122.8%2C186%2C134.3%2C96.7%2C172%2C168.9%2C175.3%2C150.5%2C124.1%2C155.7%2C145.5%2C173.1%2C173.1%2C162%2C131.3%2C160.1%2C157.4%2C163.9%2C175.4%2C144.7%2C144.6%2C152.6%2C151.6%2C175.9%2C174.4%2C166.2%2C138%2C152.5%2C174.5%2C150.7%2C122%2C151.3%2C158.5%2C166.7%2C170.5%2C152.8%2C111.5%2C160.7%2C167.5%2C161.5%2C169.7%2C173.6%2C102.3%2C171%2C166.1%2C178.5%2C157.2%2C105.3%2C154.5%2C171%2C163%2C118.9%2C144.7%2C179.9%2C164.6%2C152.6%2C135.5%2C180.3%2C165.3%2C158.8%2C162.5%2C168.6%2C145.4%2C135.5%2C177.8%2C151%2C149.8%2C164%2C137.7%2C156.2%2C167.4%2C182.7%2C150.2%2C168.2%2C164.2%2C176%2C167%2C149%2C159.5%2C173.5%2C174.4%2C94.9%2C156.7%2C159.3%2C160.7%2C164%2C156.2%2C184.7%2C142.2%2C162.8%2C160.2%2C178.6%2C158.6%2C146.5%2C105.3%2C167.3%2C111.5%2C166.8%2C153.9%2C163.9%2C172%2C166.1%2C173.7%2C149%2C105%2C158.3%2C164.5%2C152.7%2C175.5%2C111.9%2C154.1%2C87.4%2C171.1%2C164.9%2C148.7%2C161.8%2C177.5%2C163.2%2C159.6%2C120.6%2C92%2C173.4%2C190.2%2C152%2C175.9%2C164.7%2C178.7%2C158.2%2C123.2%2C169.2%2C91.6%2C160.8%2C104.7%2C183.2%2C111.6%2C181.1%2C138.4%2C149.6%2C168.9%2C149%2C170.5%2C159%2C179.8%2C170.9%2C90.1%2C164.4%2C111.5%2C152.2%2C156.5%2C170.5%2C165.8%2C174.7%2C126.5%2C152.9%2C157.6%2C125.4%2C133.6%2C124.2%2C159.5%2C114.5%2C164.7%2C182.9%2C172.7%2C86.7%2C112.3%2C174.6%2C106.6%2C100%2C147.3%2C160.3%2C160.7%2C178.3%2C183.2%2C161.4%2C156.5%2C151.6%2C177.3%2C180.5%2C164.9%2C103.8%2C148.8%2C173.5%2C187.7%2C152.6%2C177.7%2C158.9%2C149%2C156.7%2C113.5%2C160.4%2C176.3%2C159.7%2C107.1%2C158.5%2C155.5%2C173.9%2C118.7%2C159.4%2C157.4%2C125.8%2C148.8%2C165.1%2C153.7%2C182.1%2C154.8%2C143.1%2C158.3%2C158.2%2C139.2%2C161.5%2C176.4%2C162.1%2C149.3%2C164.1%2C167.6%2C168.4%2C114.4%2C178.2%2C180.1%2C169.6%2C161.9%2C156.8%2C188%2C161%2C176.1%2C127%2C160%2C94.3%2C155.2%2C162%2C190.9%2C186.4%2C154.4%2C151.4%2C154.5%2C101.2%2C170.2%2C165.9%2C150.6%2C181.2%2C171.3%2C169.7%2C153.5%2C183.5%2C182%2C172.5%2C178.4%2C116.9%2C153.3%2C155.8%2C129.4%2C177.3%2C167.9%2C91.2%2C186.5%2C178.2%2C147.4%2C89.3%2C163.1%2C166.9%2C170.7%2C170.3%2C148.1%2C150.5%2C179.4%2C139.8%2C94.1%2C168.1%2C113.4%2C167.8%2C164.2%2C181.1%2C102.8%2C168.8%2C180.4%2C163.7%2C163.7%2C183.9%2C144.4%2C178.9%2C141.5%2C149.7%2C102.4%2C182.1%2C176.9%2C153.1%2C131.1%2C111.1%2C150.4%2C180.5%2C164.9%2C157.4%2C101.1%2C159.7%2C164.8%2C130.8%2C164.9%2C118.2%2C162.4%2C161.8%2C156.8%2C157.5%2C179.9%2C169.7%2C131.1%2C168.6%2C178%2C164.6%2C125.8%2C164.3%2C169.4%2C150.2%2C171.5%2C157.4%2C160.7%2C174.4%2C165.2%2C175.6%2C169.4%2C191%2C168%2C154.7%2C173.5%2C178.7%2C181.7%2C164.9%2C161.4%2C128.5%2C110.1%2C175.3%2C125.2%2C88.9%2C156.2%2C164.8%2C177.9%2C173.9%2C147.5%2C167.8%2C126%2C148.9%2C88.3%2C118.9%2C170.2%2C156.7%2C171.5%2C149.2%2C171.9%2C93.2%2C151.6%2C160.9%2C169.7%2C170.2%2C156.9%2C167.4%2C154.4%2C172.9%2C153.1%2C120%2C99.8%2C174%2C83.7%2C177.5%2C156.8%2C94%2C164.9%2C165.2%2C157.1%2C176.4%2C153.6%2C181%2C169.8%2C161.9%2C170.4%2C161.9%2C172%2C166.2%2C161.8%2C162.3%2C104%2C145%2C110.9%2C173.7%2C174.5%2C177.1%2C174.5%2C177.6%2C174.7%2C167.9%2C167.7%2C165%2C87.7%2C184.3%2C181.3%2C123.3%2C167.4%2C165.8%2C185.9%2C168.9%2C170.7%2C171.1%2C158.4%2C178.9%2C177.2%2C137.1%2C155.3%2C164.5%2C174.9%2C183.8%2C153.9%2C171.2%2C147.3%2C123.9%2C176.3%2C174.5%2C182.5%2C107.4%2C116.7%2C170.4%2C161.6%2C180.1%2C170.7%2C183%2C158%2C141.2%2C173.8%2C153.4%2C166.6%2C174.2%2C166.3%2C132.9%2C106.1%2C172.8%2C142.6%2C149.7%2C99.5%2C174.4%2C167.9%2C173%2C148%2C179.6%2C172%2C148.9%2C95.9%2C118.2%2C197.2%2C118.4%2C186.3%2C176.1%2C176.7%2C95.4%2C153.4%2C175.6%2C160.8%2C164.6%2C168.3%2C158.2%2C151%2C172.3%2C159.9%2C171.7%2C160.1%2C177.5%2C159.7%2C164.1%2C166.8%2C156.9%2C161.6%2C128.3%2C173.7%2C158%2C158.6%2C134.3%2C155.7%2C188%2C179.7%2C121.6%2C183.7%2C160%2C179.7%2C176.9%2C171.1%2C157.2%2C137.3%2C166.1%2C124.7%2C155.2%2C142.8%2C169.8%2C162.4%2C140.1%2C161.7%2C174.3%2C150.5%2C98.3%2C136.9%2C101%2C168.8%2C161.6%2C154.9%2C145.7%2C169.4%2C128.3%2C96.1%2C164.8%2C165.9%2C151.3%2C97.6%2C131.5%2C166.4%2C155.8%2C169.8%2C160.5%2C177.6%2C158.9%2C182.2%2C166.6%2C170.5%2C168.7%2C118.2%2C167.7%2C154.9%2C136.6%2C157.5%2C103.2%2C154.5%2C162.5%2C158.9%2C113.9%2C157.3%2C171.4%2C161.7%2C173.6%2C106.3%2C130.2%2C164.9%2C186.5%2C121.7%2C92.2%2C88%2C163.8%2C166.5%2C123.1%2C101.2%2C170.7%2C156.8%2C184.7%2C168.4%2C181.2%2C97.3%2C150.9%2C118.7%2C177.6%2C175.8%2C177.9%2C174.5%2C159.4%2C170.9%2C141.1%2C148.7%2C145.3%2C91.9%2C171.9%2C165.7%2C117.1%2C157.6%2C155%2C95.8%2C152.7%2C103.3%2C176.7%2C168%2C158.4%2C170.6%2C151.7%2C164.5%2C162.2%2C153%2C188.9%2C161.5%2C154.5%2C135.5%2C173.1%2C167.2%2C161.1%2C151.8%2C194.7%2C173.2%2C135.7%2C90.7%2C168.2%2C171.4%2C169.4%2C167%2C160.4%2C180.9%2C103.8%2C174.7%2C160.8%2C181.6%2C153.5%2C160.9%2C159.5%2C169.6%2C141.8%2C96.9%2C166%2C164%2C155.9%2C160.8%2C157.6%2C170.1%2C158.2%2C128.4%2C163.6%2C159.2%2C174.3%2C156.7%2C149.5%2C121.7%2C161.7%2C179.5%2C124.8%2C138.4%2C139.3%2C174.9%2C86.4%2C165.9%2C169.2%2C150.8%2C152.9%2C155.1%2C152.1%2C163.5%2C156.4%2C119.8%2C175%2C154.8%2C155.2%2C184.6%2C112.4%2C173.8%2C138.6%2C95.1%2C167.3%2C161.6%2C152.6%2C170.7%2C156.4%2C173.9%2C154.1%2C173.2%2C165.4%2C102.9%2C155.6%2C116.5%2C100.9%2C146%2C93.1%2C171.3%2C115.1%2C131.9%2C174.3%2C170.1%2C156.7%2C141.3%2C157.5%2C167.8%2C151.8%2C126.9%2C110.2%2C135.8%2C176.9%2C173.8%2C118.4%2C151.6%2C159.3%2C165.2%2C172.4%2C161.5%2C162.1%2C167.4%2C100.4%2C165.8%2C169.4%2C165.4%2C142.6%2C165.7%2C99.1%2C163.2%2C171.8%2C177%2C177.7%2C163.2%2C172.7%2C112.4%2C85.1%2C149.9%2C170.5%2C159.3%2C176.7%2C145.4%2C147.6%2C176.8%2C178.6%2C176.9%2C100.9%2C173.6%2C173.8%2C177.4%2C147.5%2C173.8%2C169%2C169.4%2C176.6%2C160.8%2C157.7%2C186.6%2C178.2%2C121.7%2C151.1%2C120.9%2C172%2C146.2%2C108.7%2C167.3%2C119.5%2C105.8%2C163.3%2C169.2%2C161.3%2C179.1%2C142.4%2C175.3%2C138.3%2C168.2%2C157.9%2C127.6%2C166.7%2C163.1%2C153.2%2C160.3%2C175.9%2C126.2%2C176.4%2C133.3%2C168%2C172.4%2C146.9%2C146.3%2C137.1%2C153.5%2C84.9%2C149%2C166%2C160.2%2C99.6%2C174.1%2C167.6%2C124.7%2C187.5%2C168%2C178%2C157.3%2C148.4%2C157.6%2C174.4%2C178.5%2C171.4%2C96.2%2C146.6%2C154.2%2C175.4%2C158.9%2C156.9%2C127%2C153.5%2C178.2%2C141.1%2C156.9%2C138%2C156.3%2C121.9%2C182.2%2C180.4%2C89.7%2C173.1%2C167.9%2C163.4%2C170.2%2C154.6%2C136.3%2C161.7%2C170.1%2C177.6%2C142.1%2C149%2C165.1%2C83.8%2C184.2%2C152.9%2C162.2%2C165.8%2C151.7%2C130.4%2C91.7%2C169.8%2C161.2%2C146.8%2C156.9%2C145.8%2C172.5%2C156%2C97.9%2C146.4%2C166.5%2C186.1%2C165.2%2C97.7%2C168.7%2C178.4%2C162.5%2C169.6%2C152%2C154.3%2C190.2%2C132.2%2C164.8%2C168.9%2C166.3%2C180.3%2C149.6%2C172%2C159.8%2C155.3%2C142.1%2C176.7%2C148.6%2C166.3%2C108.5%2C174%2C156.1%2C96.1%2C119.5%2C90.8%2C104.3%2C160.3%2C169.5%2C165.6%2C135.2%2C167.4%2C167.4%2C161.8%2C160.8%2C149%2C144.3%2C170.5%2C164.7%2C171.9%2C165.9%2C162.5%2C102.7%2C128.3%2C151.4%2C172.2%2C152.5%2C175.2%2C148.4%2C184.5%2C165.1%2C179.5%2C181.6%2C111.9%2C149.2%2C186.2%2C175.1%2C168.9%2C112.5%2C95.6%2C167.6%2C149.2%2C175.5%2C134.5%2C160.8%2C178.4%2C109.6%2C135.6%2C158.6%2C167.3%2C154.8%2C171.5%2C178.2%2C123.5%2C163.6%2C159.1%2C136.9%2C155.6%2C152.9%2C167.1%2C155.4%2C98.9%2C149.7%2C165.8%2C110.2%2C173.2%2C156.8%2C159%2C149.1%2C146.7%2C102.8%2C103.2%2C123.1%2C152.6%2C155.6%2C163.7%2C88.1%2C165.6%2C164.5%2C174.6%2C182.3%2C175%2C127.3%2C179.5%2C165.1%2C171.5%2C101.2%2C161.9%2C165.2%2C179.5%2C171.3%2C161%2C159.6%2C135.6%2C124.7%2C122.4%2C125.7%2C167.1%2C157.3%2C185.9%2C165.2%2C184.3%2C172.9%2C115.3%2C154.5%2C171%2C144.3%2C177.4%2C156.7%2C99.7%2C166.3%2C183.7%2C171.7%2C185.8%2C176.6%2C151.9%2C179.2%2C153.3%2C130.6%2C174.5%2C158.7%2C162.3%2C164%2C153.8%2C178.2%2C160.3%2C165.7%2C97%2C167.1%2C152%2C171.8%2C170.5%2C165.1%2C173.8%2C111.4%2C142.8%2C131.5%2C158.2%2C161.4%2C160.6%2C174.1%2C124.5%2C133.6%2C157.2%2C171.8%2C96.6%2C174.3%2C155.3%2C117.5%2C156.4%2C137.9%2C156.3%2C164.1%2C138.9%2C160.9%2C145.4%2C166.9%2C132%2C165.1%2C157.4%2C159.6%2C170.7%2C89.8%2C159.9%2C185.1%2C136.9%2C156%2C162.7%2C182.3%2C143.1%2C177.7%2C180%2C163.7%2C126.8%2C171%2C168.9%2C157.4%2C177%2C129.3%2C172.3%2C175.9%2C133.6%2C131.2%2C174.2%2C149.4%2C169.1%2C149.6%2C180.4%2C186%2C167%2C96.7%2C162.6%2C159%2C103.9%2C169.8%2C165.1%2C168.3%2C121%2C143.4%2C173.2%2C101.7%2C169.4%2C170.1%2C151.1%2C162.2%2C88.8%2C165.6%2C162.1%2C148.4%2C175.1%2C159.4%2C169.1%2C133.7%2C173.1%2C123.4%2C158.4%2C159%2C162.3%2C116.9%2C151.9%2C171.4%2C175.4%2C146.8%2C167.1%2C152.3%2C157.2%2C163.2%2C171.1%2C160.5%2C169.8%2C116%2C173.7%2C175.3%2C165.6%2C181.4%2C105.3%2C163.6%2C108.8%2C153.9%2C162.5%2C134.9%2C153.2%2C163.9%2C162.7%2C165.7%2C180.2%2C165%2C167.3%2C142.4%2C114.8%2C157.5%2C182.7%2C150.3%2C182.1%2C177.9%2C187.5%2C135.3%2C188%2C104.6%2C170.4%2C160.6%2C160%2C166.6%2C162.1%2C165.2%2C176.6%2C172.5%2C181.3%2C175.7%2C155.6%2C86.2%2C177.2%2C166.3%2C177.1%2C173.1%2C184.9%2C178.4%2C170.7%2C159.8%2C169.7%2C170.9%2C156.8%2C166.6%2C179.7%2C183.8%2C147%2C159.2%2C176%2C165.1%2C158.8%2C132.2%2C171.9%2C166.5%2C98.9%2C93.6%2C176.5%2C161.4%2C169%2C128.5%2C181.5%2C144.4%2C162.4%2C154.8%2C150.5%2C182.7%2C157.5%2C98.6%2C177.2%2C160.3%2C174.3%2C127.1%2C167.8%2C148%2C172.6%2C160.3%2C180.7%2C132%2C162.9%2C169.5%2C156.1%2C174.2%2C172.3%2C135.8%2C126.1%2C166.5%2C101.4%2C160.5%2C159.6%2C172.5%2C165.2%2C175.5%2C164.4%2C159.4%2C97.3%2C180.4%2C175.3%2C166.5%2C163.1%2C91.6%2C169.5%2C168.5%2C172.1%2C152.9%2C166.2%2C165.7%2C165.4%2C144%2C116.4%2C171.5%2C155%2C176.8%2C118%2C87.7%2C165.5%2C99.3%2C161%2C164.4%2C165.1%2C104.7%2C176.2%2C87.6%2C180.7%2C186.9%2C182.7%2C157.1%2C157.6%2C160.7%2C171.4%2C168%2C137%2C119.3%2C135.9%2C120.8%2C162.9%2C177.5%2C88.1%2C108%2C149.9%2C169.8%2C120.8%2C133.6%2C173.6%2C170.4%2C156.7%2C98.1%2C180%2C177.2%2C176.1%2C164%2C174.3%2C167.5%2C170.1%2C141.1%2C124.4%2C173%2C116.9%2C156.3%2C144.5%2C177.3%2C152%2C167.2%2C165.8%2C109.2%2C145.4%2C163.6%2C175.4%2C173.1%2C162%2C149.9%2C171.1%2C165.9%2C173.5%2C163.1%2C190.2%2C179.1%2C145.5%2C161.9%2C166.5%2C179.1%2C176.1%2C162.8%2C151.1%2C174.3%2C161.8%2C167.8%2C162%2C167.7%2C179.7%2C176.2%2C87.3%2C176.2%2C165.7%2C173.7%2C127.9%2C165.1%2C152.5%2C139.3%2C152.8%2C179.9%2C150.6%2C111.2%2C145.8%2C113.7%2C90%2C165.5%2C183.6%2C167.1%2C174.4%2C166.7%2C172.6%2C183.8%2C176.6%2C167.7%2C91.7%2C186.1%2C177.6%2C99.4%2C169.2%2C149.5%2C176.9%2C163.6%2C158.5%2C177.9%2C170.5%2C113.4%2C175%2C166%2C163.9%2C185.1%2C179.9%2C167%2C173%2C164%2C96.2%2C106.1%2C161.4%2C116.3%2C90%2C161.9%2C161.4%2C163.4%2C117.3%2C164.5%2C166.1%2C147.9%2C97.9%2C124.2%2C170%2C154.4%2C159.6%2C131.5%2C88%2C130.3%2C167.4%2C112.1%2C164.3%2C172.4%2C144.9%2C106.6%2C130.4%2C156%2C175.2%2C89.9%2C155.7%2C180.4%2C164.6%2C159.1%2C188.9%2C160.3%2C170.7%2C170.4%2C162%2C177.8%2C172.2%2C141.3%2C95.1%2C155.8%2C182%2C166.9%2C166.2%2C120.8%2C109.4%2C152.4%2C160.7%2C174.7%2C169.1%2C173.1%2C179.8%2C155.1%2C172.2%2C157.6%2C177.4%2C154.6%2C174.8%2C170.5%2C160.1%2C96.3%2C150.8%2C152.9%2C163.2%2C159.8%2C169.9%2C93.4%2C175%2C173.9%2C167.4%2C152.2%2C176.6%2C123.8%2C151.3%2C168%2C189.3%2C173.4%2C175.8%2C158.5%2C163.6%2C164.3%2C195.6%2C169.7%2C161.5%2C165.5%2C156.1%2C162.8%2C103.1%2C174.2%2C154.7%2C159.5%2C156.4%2C181%2C167.3%2C128.1%2C177.9%2C177.8%2C153.9%2C172.1%2C170.6%2C157.8%2C166%2C107%2C156%2C165.9%2C124.9%2C169.7%2C148.8%2C159.4%2C155.7%2C146.5%2C166.9%2C167.8%2C192.1%2C174%2C180.2%2C116%2C89.4%2C152.3%2C122%2C130.5%2C172.9%2C154.6%2C113.4%2C158.2%2C173.6%2C173.4%2C96.4%2C117.2%2C102.6%2C166.3%2C172%2C134.7%2C165.6%2C152.8%2C153.4%2C176.1%2C178.7%2C159.9%2C85.1%2C173.7%2C164.7%2C90.6%2C180.1%2C130%2C155.1%2C171.1%2C167.8%2C151.3%2C121.8%2C167.2%2C165.8%2C159%2C156.3%2C92.2%2C183.7%2C178.7%2C167.7%2C152.8%2C163.6%2C180.7%2C188.6%2C172%2C182.4%2C161.7%2C157.4%2C157.4%2C155.1%2C154.8%2C172.2%2C154%2C156.5%2C159.9%2C165.4%2C160.2%2C159.5%2C165.5%2C165.4%2C159.3%2C100.7%2C152%2C167.3%2C165.7%2C112.2%2C177.5%2C142.6%2C169.8%2C146.6%2C175.3%2C117.4%2C169.9%2C152%2C168%2C97%2C180.1%2C153.7%2C178.2%2C174.8%2C162.2%2C153%2C168.1%2C139.3%2C153.7%2C162.8%2C147.1%2C162.9%2C143.4%2C125.3%2C131.7%2C174.3%2C160.6%2C151.6%2C126.9%2C124.1%2C173.2%2C147.3%2C187.2%2C128%2C125%2C164.9%2C167.2%2C172.6%2C155.8%2C137.4%2C160.9%2C155.7%2C173.3%2C178.9%2C169.7%2C120%2C120.5%2C168%2C170.1%2C144.4%2C168.4%2C172.6%2C156.7%2C160%2C169.4%2C164.2%2C156.4%2C169.6%2C158.4%2C94.1%2C125.5%2C171.7%2C129.7%2C140%2C181.1%2C167.4%2C181.9%2C167.4%2C162.4%2C158.8%2C164.7%2C88.7%2C101.6%2C167%2C161.9%2C185.1%2C154.5%2C155.6%2C178.5%2C158.4%2C170.7%2C163.9%2C160.3%2C164.6%2C96.8%2C169.5%2C178.2%2C112.5%2C149%2C172.4%2C153.8%2C175.8%2C175.5%2C167.3%2C174.3%2C137.1%2C96.1%2C179%2C114.7%2C100.4%2C126.3%2C162.9%2C168.5%2C97.8%2C164%2C164.3%2C186.7%2C176.7%2C124.5%2C151.8%2C124.7%2C122.5%2C95.4%2C177.4%2C162.3%2C153.3%2C156.9%2C165.8%2C109.4%2C184.6%2C150.6%2C149.5%2C176.9%2C161.7%2C100%2C169.9%2C161.2%2C131.4%2C170.3%2C178.7%2C160.7%2C178.4%2C166.9%2C162.3%2C173.6%2C164.3%2C101%2C158.6%2C172.5%2C157.1%2C113.5%2C171.7%2C151.1%2C151%2C158.2%2C174.6%2C168.3%2C140.2%2C160.5%2C128.8%2C125.7%2C164.5%2C175.6%2C106.8%2C174.3%2C173.1%2C180.7%2C161.7%2C175.8%2C161.7%2C167%2C178.4%2C173.2%2C117.4%2C160.7%2C154.4%2C175.6%2C164.2%2C160.1%2C143.1%2C108.2%2C171.8%2C165.1%2C155%2C174.8%2C100.8%2C161.5%2C151.4%2C111.9%2C165.7%2C180.5%2C104.7%2C151.7%2C106.8%2C149.3%2C158.2%2C167.5%2C135.7%2C184.4%2C178%2C145.4%2C166.1%2C177.8%2C169.2%2C173.6%2C185%2C170.3%2C153.7%2C96.7%2C148.1%2C164.4%22%0A%20%20%20%20ages%20%3D%20np.array(_small_ages.split(%22%2C%22)%2C%20dtype%3Dfloat)%0A%20%20%20%20heights%20%3D%20np.array(_small_heights.split(%22%2C%22)%2C%20dtype%3Dfloat)%0A%20%20%20%20test_ages%20%3D%20np.array(_test_ages.split(%22%2C%22)%2C%20dtype%3Dfloat)%0A%20%20%20%20test_heights%20%3D%20np.array(_test_heights.split(%22%2C%22)%2C%20dtype%3Dfloat)%0A%20%20%20%20return%20ages%2C%20heights%2C%20test_ages%2C%20test_heights%0A%0A%0A%40app.cell%0Adef%20model_helpers(np)%3A%0A%20%20%20%20%23%20Ages%202%20and%2080%20are%20the%20boundary%20knots.%20Internally%20age%20is%20rescaled%20to%0A%20%20%20%20%23%20u%20%3D%20(age%20-%2041)%20%2F%2039%2C%20which%20runs%20from%20-1%20to%201.%20This%20only%20keeps%20the%20numbers%0A%20%20%20%20%23%20small%3B%20it%20does%20not%20change%20the%20fitted%20curves.%0A%20%20%20%20LOW%2C%20HIGH%20%3D%202.0%2C%2080.0%0A%0A%20%20%20%20def%20scale(x)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Rescale%20age%20in%20years%20to%20u%20in%20%5B-1%2C%201%5D%20on%20the%20observed%20range.%22%22%22%0A%20%20%20%20%20%20%20%20return%20(np.asarray(x%2C%20dtype%3Dfloat)%20-%2041.0)%20%2F%2039.0%0A%0A%20%20%20%20def%20quantile_knots(ages%2C%20count%3A%20int)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Interior%20knots%20at%20equally%20spaced%20quantiles%20of%20age%2C%20as%20bs()%20and%20ns()%20do.%22%22%22%0A%20%20%20%20%20%20%20%20if%20count%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5B%5D)%0A%20%20%20%20%20%20%20%20probs%20%3D%20np.arange(1%2C%20count%20%2B%201)%20%2F%20(count%20%2B%201)%0A%20%20%20%20%20%20%20%20return%20np.unique(np.quantile(ages%2C%20probs))%0A%0A%20%20%20%20def%20spline_columns(u%2C%20degree%3A%20int%2C%20c%3A%20np.ndarray%2C%20derivative%3A%20int%20%3D%200)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Powers%20of%20u%20and%20one%20truncated%20power%20(u%20-%20c)_%2B%5Ed%20per%20knot%2C%20or%20their%20derivatives.%22%22%22%0A%20%20%20%20%20%20%20%20u%20%3D%20np.atleast_1d(np.asarray(u%2C%20dtype%3Dfloat))%0A%20%20%20%20%20%20%20%20cols%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20j%20in%20range(degree%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20j%20%3C%20derivative%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cols.append(np.zeros_like(u))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20factor%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.prod(np.arange(j%20-%20derivative%20%2B%201%2C%20j%20%2B%201))%20if%20derivative%20else%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cols.append(factor%20*%20u%20**%20(j%20-%20derivative))%0A%20%20%20%20%20%20%20%20for%20k%20in%20c%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20derivative%20%3E%20degree%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cols.append(np.zeros_like(u))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20factor%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.prod(np.arange(degree%20-%20derivative%20%2B%201%2C%20degree%20%2B%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20derivative%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20power%20%3D%20degree%20-%20derivative%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20(u%20-%20k)_%2B%5E0%20is%20a%20step%3A%200%20before%20the%20knot%2C%201%20after%20(numpy%20gives%200**0%20%3D%201).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hinge%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(u%20%3E%20k).astype(float)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20power%20%3D%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20np.maximum(u%20-%20k%2C%200.0)%20**%20power%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cols.append(factor%20*%20hinge)%0A%20%20%20%20%20%20%20%20return%20np.column_stack(cols)%0A%0A%20%20%20%20NATURAL_DEGREES%20%3D%20(3%2C)%0A%0A%20%20%20%20def%20natural_null_space(degree%3A%20int%2C%20c%3A%20np.ndarray)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Combinations%20of%20spline%20columns%20for%20a%20natural%20spline%20of%20odd%20degree%20d%20%3D%202m%20-%201.%0A%0A%20%20%20%20%20%20%20%20Beyond%20the%20boundary%20knots%20a%20natural%20spline%20is%20a%20polynomial%20of%20degree%20m%20-%201%0A%20%20%20%20%20%20%20%20(a%20straight%20line%20for%20the%20cubic%2C%20d%20%3D%203)%2C%20joined%20as%20smoothly%20as%20at%20the%20interior%0A%20%20%20%20%20%20%20%20knots.%20That%20requires%20derivatives%20m%20to%20d%20-%201%20to%20be%20zero%20at%20ages%202%20and%2080%3A%20for%0A%20%20%20%20%20%20%20%20d%20%3D%203%2C%20zero%20curvature.%20Keeping%20the%20column%20combinations%20in%20the%20null%20space%20of%0A%20%20%20%20%20%20%20%20these%20constraints%20turns%20K%20%2B%204%20columns%20into%20K%20%2B%202%2C%20as%20in%20R's%20ns().%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20m%20%3D%20(degree%20%2B%201)%20%2F%2F%202%0A%20%20%20%20%20%20%20%20rows%20%3D%20np.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20spline_columns(edge%2C%20degree%2C%20c%2C%20derivative%3Dj)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20range(m%2C%20degree)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20edge%20in%20(-1.0%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_%2C%20s%2C%20vt%20%3D%20np.linalg.svd(rows)%0A%20%20%20%20%20%20%20%20rank%20%3D%20int(np.sum(s%20%3E%201e-10))%0A%20%20%20%20%20%20%20%20return%20vt%5Brank%3A%5D.T%0A%0A%20%20%20%20def%20design_matrix(x%2C%20degree%3A%20int%2C%20knots%3A%20np.ndarray%2C%20kind%3A%20int)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Columns%20for%20model%201-5%3A%20polynomial%2C%20piecewise%20(two%20ways)%2C%20spline%2C%20natural%20spline.%22%22%22%0A%20%20%20%20%20%20%20%20u%20%3D%20scale(x)%0A%20%20%20%20%20%20%20%20c%20%3D%20scale(knots)%0A%20%20%20%20%20%20%20%20powers%20%3D%20np.polynomial.polynomial.polyvander(u%2C%20degree)%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20powers%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20regions%20%3D%20np.searchsorted(c%2C%20u%2C%20side%3D%22right%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.column_stack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bpowers%20*%20(regions%20%3D%3D%20r)%5B%3A%2C%20None%5D%20for%20r%20in%20range(len(c)%20%2B%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.column_stack(%5Bpowers%5D%20%2B%20%5Bpowers%20*%20(u%20%3E%3D%20k)%5B%3A%2C%20None%5D%20for%20k%20in%20c%5D)%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%203%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20degree%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Choose%20degree%201-3%20for%20a%20regression%20spline.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20spline_columns(u%2C%20degree%2C%20c)%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%204%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20degree%20not%20in%20NATURAL_DEGREES%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Natural%20splines%20are%20shown%20for%20d%20%3D%203%20only.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20null%20%3D%20natural_null_space(degree%2C%20c)%0A%20%20%20%20%20%20%20%20%20%20%20%20inside%20%3D%20spline_columns(np.clip(u%2C%20-1.0%2C%201.0)%2C%20degree%2C%20c)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Beyond%20each%20boundary%3A%20Taylor%20polynomial%20of%20degree%20m%20-%201%20at%20the%20boundary%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20(a%20straight%20line%20for%20the%20natural%20cubic).%0A%20%20%20%20%20%20%20%20%20%20%20%20m%20%3D%20(degree%20%2B%201)%20%2F%2F%202%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20edge%2C%20mask%20in%20((-1.0%2C%20u%20%3C%20-1.0)%2C%20(1.0%2C%20u%20%3E%201.0))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20mask.any()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dist%20%3D%20u%5Bmask%5D%20-%20edge%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tail%20%3D%20np.zeros((mask.sum()%2C%20inside.shape%5B1%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20range(m)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20derivative%20%3D%20spline_columns(edge%2C%20degree%2C%20c%2C%20derivative%3Dj)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tail%20%2B%3D%20np.outer(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dist**j%20%2F%20np.prod(np.arange(1%2C%20j%20%2B%201))%2C%20derivative%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20inside%5Bmask%5D%20%3D%20tail%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20inside%20%40%20null%0A%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20model%20kind%3A%20%7Bkind%7D%22)%0A%0A%20%20%20%20def%20fit_models(x%2C%20y%2C%20degree%3A%20int%2C%20knots%3A%20np.ndarray)%20-%3E%20dict%3A%0A%20%20%20%20%20%20%20%20%22%22%22Least-squares%20fits%20of%20models%201-5%3B%20None%20where%20a%20model%20is%20not%20defined.%22%22%22%0A%20%20%20%20%20%20%20%20results%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20kind%20in%20range(5)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(kind%20%3D%3D%203%20and%20degree%20%3D%3D%200)%20or%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%20%3D%3D%204%20and%20degree%20not%20in%20NATURAL_DEGREES%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%5Bkind%5D%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20matrix%20%3D%20design_matrix(x%2C%20degree%2C%20knots%2C%20kind)%0A%20%20%20%20%20%20%20%20%20%20%20%20beta%2C%20_%2C%20rank%2C%20_%20%3D%20np.linalg.lstsq(matrix%2C%20y%2C%20rcond%3DNone)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20A%20piecewise%20polynomial%20of%20degree%20d%20needs%20d%20%2B%201%20distinct%20ages%20in%20every%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20region%3B%20otherwise%20its%20coefficients%20are%20not%20identified.%0A%20%20%20%20%20%20%20%20%20%20%20%20results%5Bkind%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22beta%22%3A%20beta%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20int(rank)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22identified%22%3A%20int(rank)%20%3D%3D%20matrix.shape%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20return%20results%0A%0A%20%20%20%20def%20predict_model(grid%2C%20kind%3A%20int%2C%20fit%3A%20dict%2C%20degree%3A%20int%2C%20knots)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Evaluate%20a%20fitted%20model%201-5%20at%20new%20ages.%22%22%22%0A%20%20%20%20%20%20%20%20return%20design_matrix(grid%2C%20degree%2C%20knots%2C%20kind)%20%40%20fit%5B%22beta%22%5D%0A%0A%20%20%20%20return%20design_matrix%2C%20fit_models%2C%20predict_model%2C%20quantile_knots%0A%0A%0A%40app.cell%0Adef%20smoothing_helpers(np)%3A%0A%20%20%20%20def%20make_smoother(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Prepare%20an%20exact%20cubic%20smoothing%20spline%20for%20data%20with%20repeated%20ages.%0A%0A%20%20%20%20%20%20%20%20Minimises%20sum_i%20(y_i%20-%20f(x_i))%5E2%20%2B%20lambda%20*%20integral%20f''(t)%5E2%20dt%2C%20with%20age%20in%0A%20%20%20%20%20%20%20%20years.%20People%20with%20the%20same%20age%20share%20one%20fitted%20value%2C%20so%20the%20problem%20is%0A%20%20%20%20%20%20%20%20solved%20on%20the%20distinct%20ages%20t%20with%20weights%20w%20(number%20of%20people)%20and%20mean%0A%20%20%20%20%20%20%20%20heights%20ybar%3A%20(W%20%2B%20lambda%20K)%20g%20%3D%20W%20ybar%2C%20where%20K%20%3D%20Q%20R%5E-1%20Q'%20is%20the%20natural%0A%20%20%20%20%20%20%20%20cubic%20roughness%20matrix.%20This%20has%20the%20same%20solution%20as%20the%20problem%20on%20the%0A%20%20%20%20%20%20%20%20individual%20observations.%20It%20is%20diagonalised%20once%20so%20lambda%20changes%20are%20cheap.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20t%2C%20inverse%2C%20w%20%3D%20np.unique(x%2C%20return_inverse%3DTrue%2C%20return_counts%3DTrue)%0A%20%20%20%20%20%20%20%20ybar%20%3D%20np.bincount(inverse%2C%20weights%3Dy)%20%2F%20w%0A%20%20%20%20%20%20%20%20h%20%3D%20np.diff(t)%0A%20%20%20%20%20%20%20%20n%20%3D%20len(t)%0A%20%20%20%20%20%20%20%20q%20%3D%20np.zeros((n%2C%20n%20-%202))%0A%20%20%20%20%20%20%20%20j%20%3D%20np.arange(n%20-%202)%0A%20%20%20%20%20%20%20%20q%5Bj%2C%20j%5D%2C%20q%5Bj%20%2B%201%2C%20j%5D%2C%20q%5Bj%20%2B%202%2C%20j%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%201%20%2F%20h%5B%3A-1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20-1%20%2F%20h%5B%3A-1%5D%20-%201%20%2F%20h%5B1%3A%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%201%20%2F%20h%5B1%3A%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20r%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.diag((h%5B%3A-1%5D%20%2B%20h%5B1%3A%5D)%20%2F%203)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20np.diag(h%5B1%3A-1%5D%20%2F%206%2C%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20np.diag(h%5B1%3A-1%5D%20%2F%206%2C%20-1)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20second_map%20%3D%20np.linalg.solve(r%2C%20q.T)%0A%20%20%20%20%20%20%20%20roughness%20%3D%20q%20%40%20second_map%0A%20%20%20%20%20%20%20%20root_w%20%3D%20np.sqrt(w)%0A%20%20%20%20%20%20%20%20eigenvalues%2C%20vectors%20%3D%20np.linalg.eigh(roughness%20%2F%20np.outer(root_w%2C%20root_w))%0A%20%20%20%20%20%20%20%20eigenvalues%20%3D%20np.maximum(eigenvalues%2C%200.0)%0A%20%20%20%20%20%20%20%20%23%20Constants%20and%20straight%20lines%20have%20zero%20curvature%3A%20two%20zero%20eigenvalues.%0A%20%20%20%20%20%20%20%20eigenvalues%5B%3A2%5D%20%3D%200.0%0A%20%20%20%20%20%20%20%20projected%20%3D%20vectors.T%20%40%20(root_w%20*%20ybar)%0A%0A%20%20%20%20%20%20%20%20def%20smooth_fit(lam%3A%20float)%20-%3E%20dict%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Fitted%20values%20at%20the%20distinct%20ages%20for%20one%20value%20of%20lambda.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20shrink%20%3D%201.0%20%2F%20(1.0%20%2B%20lam%20*%20eigenvalues)%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted%20%3D%20(vectors%20%40%20(shrink%20*%20projected))%20%2F%20root_w%0A%20%20%20%20%20%20%20%20%20%20%20%20second%20%3D%20np.r_%5B0.0%2C%20second_map%20%40%20fitted%2C%200.0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22t%22%3A%20t%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22values%22%3A%20fitted%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22second%22%3A%20second%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22df%22%3A%20float(shrink.sum())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20def%20lambda_for_df(target%3A%20float)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Find%20lambda%20whose%20effective%20degrees%20of%20freedom%20equal%20a%20target%20(bisection).%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%20-8.0%2C%2012.0%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20range(80)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mid%20%3D%20(lo%20%2B%20hi)%20%2F%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df%20%3D%20float(np.sum(1.0%20%2F%20(1.0%20%2B%2010**mid%20*%20eigenvalues)))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%20(mid%2C%20hi)%20if%20df%20%3E%20target%20else%20(lo%2C%20mid)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%2010%20**%20((lo%20%2B%20hi)%20%2F%202)%0A%0A%20%20%20%20%20%20%20%20return%20smooth_fit%2C%20lambda_for_df%0A%0A%20%20%20%20def%20predict_smoother(x%2C%20fit%3A%20dict)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Natural%20cubic%20spline%20through%20the%20fitted%20values%2C%20straight%20beyond%202%20and%2080.%22%22%22%0A%20%20%20%20%20%20%20%20x%20%3D%20np.asarray(x%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20t%2C%20values%2C%20second%20%3D%20fit%5B%22t%22%5D%2C%20fit%5B%22values%22%5D%2C%20fit%5B%22second%22%5D%0A%20%20%20%20%20%20%20%20i%20%3D%20np.clip(np.searchsorted(t%2C%20x%2C%20side%3D%22right%22)%20-%201%2C%200%2C%20len(t)%20-%202)%0A%20%20%20%20%20%20%20%20h%20%3D%20t%5Bi%20%2B%201%5D%20-%20t%5Bi%5D%0A%20%20%20%20%20%20%20%20a%2C%20b%20%3D%20(t%5Bi%20%2B%201%5D%20-%20x)%20%2F%20h%2C%20(x%20-%20t%5Bi%5D)%20%2F%20h%0A%20%20%20%20%20%20%20%20pred%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20*%20values%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20b%20*%20values%5Bi%20%2B%201%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20((a**3%20-%20a)%20*%20second%5Bi%5D%20%2B%20(b**3%20-%20b)%20*%20second%5Bi%20%2B%201%5D)%20*%20h**2%20%2F%206%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20left_h%2C%20right_h%20%3D%20t%5B1%5D%20-%20t%5B0%5D%2C%20t%5B-1%5D%20-%20t%5B-2%5D%0A%20%20%20%20%20%20%20%20left_slope%20%3D%20(values%5B1%5D%20-%20values%5B0%5D)%20%2F%20left_h%20-%20left_h%20*%20second%5B1%5D%20%2F%206%0A%20%20%20%20%20%20%20%20right_slope%20%3D%20(values%5B-1%5D%20-%20values%5B-2%5D)%20%2F%20right_h%20%2B%20right_h%20*%20second%5B-2%5D%20%2F%206%0A%20%20%20%20%20%20%20%20pred%20%3D%20np.where(x%20%3C%20t%5B0%5D%2C%20values%5B0%5D%20%2B%20left_slope%20*%20(x%20-%20t%5B0%5D)%2C%20pred)%0A%20%20%20%20%20%20%20%20return%20np.where(x%20%3E%20t%5B-1%5D%2C%20values%5B-1%5D%20%2B%20right_slope%20*%20(x%20-%20t%5B-1%5D)%2C%20pred)%0A%0A%20%20%20%20return%20make_smoother%2C%20predict_smoother%0A%0A%0A%40app.cell%0Adef%20smoother_setup(ages%2C%20heights%2C%20make_smoother%2C%20np)%3A%0A%20%20%20%20smoother%2C%20lambda_for_df%20%3D%20make_smoother(ages%2C%20heights)%0A%20%20%20%20%23%20Slider%20positions%3A%20lambda%20values%20that%20give%20these%20effective%20df%20(rounded).%0A%20%20%20%20_targets%20%3D%20%5B2.05%2C%203%2C%204%2C%205%2C%206%2C%208%2C%2010%2C%2013%2C%2016%2C%2020%2C%2025%2C%2030%2C%2040%2C%2050%2C%2060%2C%2070%5D%0A%20%20%20%20lambda_steps%20%3D%20%5B0.0%5D%20%2B%20sorted(float(f%22%7Blambda_for_df(_t)%3A.2g%7D%22)%20for%20_t%20in%20_targets)%0A%20%20%20%20n_distinct%20%3D%20len(np.unique(ages))%0A%20%20%20%20return%20lambda_for_df%2C%20lambda_steps%2C%20n_distinct%2C%20smoother%0A%0A%0A%40app.cell%0Adef%20controls(lambda_for_df%2C%20lambda_steps%2C%20mo)%3A%0A%20%20%20%20model_names%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%221.%20Polynomial%22%2C%0A%20%20%20%20%20%20%20%20%222.%20Piecewise%3A%20per%20region%22%2C%0A%20%20%20%20%20%20%20%20%223.%20Piecewise%3A%20adjustments%22%2C%0A%20%20%20%20%20%20%20%20%224.%20Regression%20spline%22%2C%0A%20%20%20%20%20%20%20%20%225.%20Natural%20spline%22%2C%0A%20%20%20%20%20%20%20%20%226.%20Smoothing%20spline%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20degree%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%203%2C%0A%20%20%20%20%20%20%20%20value%3D3%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Polynomial%20degree%20d%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20knot_count%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%206%2C%0A%20%20%20%20%20%20%20%20value%3D2%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20interior%20knots%20K%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_default%20%3D%20min(lambda_steps%2C%20key%3Dlambda%20v%3A%20abs(v%20-%20lambda_for_df(8)))%0A%20%20%20%20smoothness%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3Dlambda_steps%2C%0A%20%20%20%20%20%20%20%20value%3D_default%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Smoothness%20%CE%BB%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20view%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%5B%22All%20six%22%5D%20%2B%20model_names%2C%20value%3D%22All%20six%22%2C%20label%3D%22Show%22%2C%20full_width%3DTrue%0A%20%20%20%20)%0A%20%20%20%20tails%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Show%20extrapolation%20(ages%200%E2%80%932%20and%2080%E2%80%93100)%22)%0A%20%20%20%20return%20degree%2C%20knot_count%2C%20model_names%2C%20smoothness%2C%20tails%2C%20view%0A%0A%0A%40app.cell%0Adef%20sidebar(degree%2C%20knot_count%2C%20mo%2C%20smoothness%2C%20tails%2C%20view)%3A%0A%20%20%20%20mo.sidebar(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Change%20the%20fit%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20view%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**0**%20constant%20%C2%B7%20**1**%20line%20%20%5Cn**2**%20quadratic%20%C2%B7%20**3**%20cubic%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20knot_count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Knots%20at%20equally%20spaced%20**quantiles%20of%20age**%2C%20as%20%60bs()%60%20and%20%60ns()%60%20do.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20smoothness%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tails%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Degree%3A**%20plots%201%E2%80%934%3B%20plot%205%20needs%20d%20%3D%203.%5Cn%5Cn**Knots%3A**%20plots%202%E2%80%935.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**%CE%BB%3A**%20plot%206%20only.%20Larger%20values%20make%20bending%20more%20expensive.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Plot%206%20is%20always%20cubic.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22---%5Cn**Try%20this**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%221.%20Degree%20**1**%3A%20compare%20jumps%20and%20corners.%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%222.%20Degree%20**3**%3A%20compare%20smooth%20joins.%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%223.%20Add%20knots%3A%20plots%202%20and%203%20still%20match.%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%224.%20Look%20at%20the%20tails%20of%20plots%204%E2%80%936%20before%20age%202%20and%20after%2080.%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%225.%20Increase%20%CE%BB%3A%20plot%206%20approaches%20a%20straight%20line.%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%226.%20Scroll%20down%3A%20which%20settings%20predict%20new%20people%20best%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20width%3D%22270px%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20introduction(mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(%22%22%22%3Cstyle%3E%0A%20%20%20%20%20%20%20%20.fit-card%20%7Bborder%3A1px%20solid%20%23dde3e7%3Bborder-radius%3A10px%3B%0A%20%20%20%20%20%20%20%20%20%20padding%3A14px%3Bbackground%3Awhite%3Bmin-width%3A0%3B%7D%0A%20%20%20%20%20%20%20%20.fit-card%20h3%20%7Bmargin-top%3A0%3Bcolor%3A%233d348b%3Bfont-size%3A1.08rem%3B%7D%0A%20%20%20%20%20%20%20%20.fit-card%20p%20%7Bmargin%3A0.2rem%200%3Bline-height%3A1.45%3B%7D%0A%20%20%20%20%20%20%20%20.fit-card%20img%20%7Bmax-width%3A100%25%3Bheight%3Aauto%3B%7D%0A%20%20%20%20%20%20%20%20.fit-card%20.math%20%7Boverflow-x%3Aauto%3B%7D%0A%20%20%20%20%20%20%20%20.fit-grid%20%7Bdisplay%3Agrid%3Bgrid-template-columns%3Arepeat(3%2Cminmax(0%2C1fr))%3B%0A%20%20%20%20%20%20%20%20%20%20gap%3A16px%3Balign-items%3Astart%3B%7D%0A%20%20%20%20%20%20%20%20%40media(max-width%3A850px)%20%7B.fit-grid%20%7Bgrid-template-columns%3A1fr%3B%7D%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%20From%20polynomials%20to%20smoothing%20splines%0A%0A%20%20%20%20%20%20%20%20**How%20can%20we%20fit%20a%20curved%20relationship%20while%20controlling%20where%20it%20bends%3F**%0A%20%20%20%20%20%20%20%20Every%20plot%20uses%20the%20same%20300%20people%20from%20the%20lecture%3A%20height%20and%20age%20in%0A%20%20%20%20%20%20%20%20NHANES%202009%E2%80%932012%2C%20a%20US%20health%20survey.%20Height%20rises%20fast%20in%20childhood%20and%0A%20%20%20%20%20%20%20%20levels%20off%20in%20adulthood%2C%20so%20a%20straight%20line%20cannot%20describe%20it.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20).style(%7B%22max-width%22%3A%20%221500px%22%2C%20%22margin%22%3A%20%22auto%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20fitted_models(%0A%20%20%20%20ages%2C%0A%20%20%20%20degree%2C%0A%20%20%20%20fit_models%2C%0A%20%20%20%20heights%2C%0A%20%20%20%20knot_count%2C%0A%20%20%20%20quantile_knots%2C%0A%20%20%20%20smoother%2C%0A%20%20%20%20smoothness%2C%0A)%3A%0A%20%20%20%20knots%20%3D%20quantile_knots(ages%2C%20knot_count.value)%0A%20%20%20%20fits%20%3D%20fit_models(ages%2C%20heights%2C%20degree.value%2C%20knots)%0A%20%20%20%20fits%5B5%5D%20%3D%20smoother(smoothness.value)%0A%20%20%20%20return%20fits%2C%20knots%0A%0A%0A%40app.function%0Adef%20explain_fit(kind%3A%20int%2C%20degree%3A%20int%2C%20count%3A%20int)%20-%3E%20tuple%5Bstr%2C%20str%2C%20str%5D%3A%0A%20%20%20%20%22%22%22Map%20each%20formula%20to%20the%20columns%20and%20constraints%20that%20define%20it.%22%22%22%0A%20%20%20%20if%20kind%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22One%20polynomial%20covers%20all%20ages.%20A%20higher%20degree%20lets%20it%20bend%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22but%20every%20coefficient%20changes%20the%20curve%20everywhere.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%20f(x)%3DP_d(x)%5C%2C%5Cbeta%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Design%20row%3A%20powers%20of%20age.%20One%20coefficient%20per%20power%2C%20including%20the%20constant.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20kind%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20region%20gets%20its%20own%20polynomial%3B%20the%20curve%20can%20jump%20at%20the%20knots.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22At%20degree%200%2C%20each%20level%20is%20the%20region's%20mean%20height.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20degree%20%3D%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%20f(x)%3D%5Csum_%7Br%3D0%7D%5E%7BK%7D%20I_r(x)%5C%2CP_d(x)%5C%2C%5Cbeta_r%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Design%20row%3A%20one%20block%20of%20powers%20per%20region.%20Only%20the%20block%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22person's%20own%20region%20is%20nonzero.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20kind%20%3D%3D%202%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20fit%20is%20identical%20to%20plot%202.%20Start%20with%20the%20first%20region's%20polynomial%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22then%20add%20a%20polynomial%20adjustment%20after%20each%20knot.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%20f(x)%3DP_d(x)%5Cbeta%2B%5Csum_%7Bk%3D1%7D%5E%7BK%7DI(x%5Cgeq%20c_k)P_d(x)%5Cdelta_k%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Design%20row%3A%20baseline%20powers%20%2B%20powers%20switched%20on%20after%20each%20knot.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20adjustments%20add%20up%3B%20their%20constant%20terms%20still%20allow%20jumps.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20dashed%20gold%20line%20extends%20the%20baseline%20across%20all%20ages.%20Raspberry%20shading%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22shows%20the%20total%20adjustment%20from%20that%20baseline%20to%20the%20purple%20fitted%20curve%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22each%20adjustment%20stays%20active%20after%20its%20knot.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20kind%20%3D%3D%203%3A%0A%20%20%20%20%20%20%20%20if%20degree%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20degree-0%20spline%20would%20be%20a%20step%20function%20forced%20to%20be%20continuous%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20is%20just%20a%20constant.%20Start%20at%20degree%201.%20The%20step%20functions%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22in%20plots%202%20and%203.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Choose%20degree%201%2C%202%20or%203.**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20join%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%201%3A%20%22Heights%20match%20at%20the%20knots%3B%20slopes%20may%20differ%2C%20so%20corners%20are%20allowed.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%202%3A%20%22Heights%20and%20slopes%20match%3B%20curvature%20may%20change.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%203%3A%20%22Heights%2C%20slopes%20and%20curvatures%20match%20at%20every%20knot.%22%2C%0A%20%20%20%20%20%20%20%20%7D%5Bdegree%5D%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20join%20%2B%20%22%20Beyond%202%20and%2080%20the%20last%20polynomial%20piece%20simply%20continues.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%20f(x)%3DP_d(x)%5Cbeta%2B%5Csum_%7Bk%3D1%7D%5E%7BK%7D%5Cgamma_k(x-c_k)_%2B%5Ed%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Design%20row%3A%20powers%20%2B%20one%20hinge%20column%20per%20knot.%20The%20hinge%20is%20zero%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22before%20its%20knot%2C%20which%20forces%20the%20pieces%20to%20join.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20kind%20%3D%3D%204%3A%0A%20%20%20%20%20%20%20%20if%20degree%20!%3D%203%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Natural%20splines%20are%20defined%20only%20for%20odd%20degrees%2C%20and%20in%20practice%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(ISLR%2C%20R's%20ns())%20only%20the%20cubic%20one%20is%20used.%20For%20d%20%3D%200%20and%20d%20%3D%202%20they%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22are%20not%20defined.%20For%20d%20%3D%201%20the%20natural%20linear%20spline%20is%20plot%204%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22flat%20tails%3A%20it%20adds%20no%20constraint%20inside%20the%20data.%20Set%20d%20%3D%203.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Set%20d%20%3D%203.**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20cubic%20spline%20that%20continues%20as%20a%20straight%20line%20before%20age%202%20and%20after%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22age%2080.%20Straight%20tails%20that%20join%20smoothly%20need%20zero%20curvature%20at%202%20and%2080.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22These%20two%20extra%20constraints%20remove%20two%20coefficients%20and%20also%20change%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fit%20inside%20the%20data.%20This%20is%20R's%20ns().%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24%5Chat%20f(x)%3DP_3(x)%5Cbeta%2B%5Csum_%7Bk%7D%5Cgamma_k(x-c_k)_%2B%5E3%24%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%24f''(2)%3Df''(80)%3D0%24%2C%20straight%20outside%20%24%5B2%2C80%5D%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Same%20columns%20as%20plot%204%2C%20combined%20so%20that%20the%20curvature%20is%20zero%20at%20both%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22boundaries%3A%20K%20%2B%204%20%E2%88%92%202%20%3D%20%7Bcount%20%2B%202%7D%20coefficients.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%22A%20cubic%20spline%20with%20a%20knot%20at%20every%20distinct%20age.%20Keep%20all%20those%20knots%3B%20%22%0A%20%20%20%20%20%20%20%20%22control%20flexibility%20with%20%CE%BB.%20At%20%CE%BB%20%3D%200%20it%20goes%20through%20the%20mean%20height%20at%20%22%0A%20%20%20%20%20%20%20%20%22each%20age.%20As%20%CE%BB%20grows%2C%20it%20approaches%20the%20least-squares%20straight%20line.%22%2C%0A%20%20%20%20%20%20%20%20r%22%24%5Cmin_f%5C%3B%5Cunderbrace%7B%5Csum_i%5C%7By_i-f(x_i)%5C%7D%5E2%7D_%7B%5Ctext%7Bfit%20the%20data%7D%7D%22%0A%20%20%20%20%20%20%20%20r%22%2B%5Clambda%5Cunderbrace%7B%5Cint%20f''(t)%5E2%5C%2Cdt%7D_%7B%5Ctext%7Bpenalise%20bending%7D%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%22Effective%20df%20measures%20the%20flexibility%20left%20after%20the%20penalty%2C%20not%20the%20%22%0A%20%20%20%20%20%20%20%20%22number%20of%20knots.%20People%20with%20the%20same%20age%20share%20one%20fitted%20value%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%22the%20maximum%20is%20the%20number%20of%20distinct%20ages.%22%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20plot_helpers(%0A%20%20%20%20colours%2C%0A%20%20%20%20design_matrix%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20predict_model%2C%0A%20%20%20%20predict_smoother%2C%0A)%3A%0A%20%20%20%20Y_LIMITS%20%3D%20(60.0%2C%20215.0)%0A%0A%20%20%20%20def%20curve(grid%2C%20kind%3A%20int%2C%20fit%3A%20dict%2C%20settings%3A%20dict)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Predictions%20of%20any%20of%20the%20six%20models%20at%20new%20ages.%22%22%22%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%205%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20predict_smoother(grid%2C%20fit)%0A%20%20%20%20%20%20%20%20return%20predict_model(grid%2C%20kind%2C%20fit%2C%20settings%5B%22degree%22%5D%2C%20settings%5B%22knots%22%5D)%0A%0A%20%20%20%20def%20draw_fit(kind%3A%20int%2C%20fit%2C%20settings%3A%20dict%2C%20sample%3A%20tuple)%3A%0A%20%20%20%20%20%20%20%20%22%22%22One%20panel%3A%20data%2C%20fitted%20curve%2C%20knots%2C%20jumps%20and%20extrapolation%20zones.%22%22%22%0A%20%20%20%20%20%20%20%20x%2C%20y%20%3D%20sample%0A%20%20%20%20%20%20%20%20degree%2C%20knots%20%3D%20settings%5B%22degree%22%5D%2C%20settings%5B%22knots%22%5D%0A%20%20%20%20%20%20%20%20low%2C%20high%20%3D%20(0.0%2C%20100.0)%20if%20settings%5B%22tails%22%5D%20else%20(2.0%2C%2080.0)%0A%20%20%20%20%20%20%20%20fig%2C%20ax%20%3D%20plt.subplots(figsize%3D(4.6%2C%203.0)%2C%20layout%3D%22constrained%22)%0A%20%20%20%20%20%20%20%20if%20fit%20is%20None%20or%20not%20fit.get(%22identified%22%2C%20True)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20fit%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Not%20identified%3A%20a%20region%20has%5Cnfewer%20than%20d%20%2B%201%20distinct%20ages.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20fewer%20knots%20or%20a%20lower%20degree%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20kind%20%3D%3D%204%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%22Natural%20splines%3A%20d%20%3D%203%20only%5Cn%5CnNot%20defined%20for%20d%20%3D%200%20or%202%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%22Degree%200%3A%20unavailable%5Cn%5CnChoose%20degree%201%E2%80%933%22%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%200.53%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transform%3Dax.transAxes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D13%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%2366727c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_axis_off()%0A%20%20%20%20%20%20%20%20%20%20%20%20plt.close(fig)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20fig%0A%20%20%20%20%20%20%20%20ax.scatter(x%2C%20y%2C%20s%3D10%2C%20color%3Dcolours%5B%22grey%22%5D%2C%20alpha%3D0.5%2C%20edgecolors%3D%22none%22)%0A%20%20%20%20%20%20%20%20if%20settings%5B%22tails%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20a%2C%20b%20in%20((0.0%2C%202.0)%2C%20(80.0%2C%20100.0))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.axvspan(a%2C%20b%2C%20color%3D%22%23f3ead3%22%2C%20alpha%3D0.8%2C%20zorder%3D0)%0A%20%20%20%20%20%20%20%20if%20kind%20in%20(1%2C%202%2C%203%2C%204)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20knot%20in%20knots%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.axvline(knot%2C%20color%3D%22%238b939b%22%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1)%0A%20%20%20%20%20%20%20%20if%20kind%20in%20(4%2C%205)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20boundary%20in%20(2%2C%2080)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.axvline(boundary%2C%20color%3D%22%23b07b38%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1)%0A%20%20%20%20%20%20%20%20edges%20%3D%20np.r_%5Blow%2C%20knots%2C%20high%5D%20if%20kind%20in%20(1%2C%202)%20else%20np.array(%5Blow%2C%20high%5D)%0A%20%20%20%20%20%20%20%20for%20a%2C%20b%20in%20zip(edges%5B%3A-1%5D%2C%20edges%5B1%3A%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20grid%20%3D%20np.linspace(a%2C%20b%20-%201e-7%2C%20240)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20curve(grid%2C%20kind%2C%20fit%2C%20settings)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dcolours%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20kind%20in%20(1%2C%202)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20knot%20in%20knots%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20join%20%3D%20curve(np.array(%5Bknot%20-%201e-7%2C%20knot%5D)%2C%20kind%2C%20fit%2C%20settings)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20j%2C%20fill%20in%20enumerate((%22white%22%2C%20colours%5B%22purple%22%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20knot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20join%5Bj%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22o%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dcolours%5B%22purple%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20markerfacecolor%3Dfill%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ms%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20kind%20%3D%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20grid%20%3D%20np.linspace(low%2C%20high%2C%20400)%0A%20%20%20%20%20%20%20%20%20%20%20%20base%20%3D%20design_matrix(grid%2C%20degree%2C%20knots%2C%200)%20%40%20fit%5B%22beta%22%5D%5B%3A%20degree%20%2B%201%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(grid%2C%20base%2C%20%22--%22%2C%20color%3Dcolours%5B%22gold%22%5D%2C%20lw%3D1.8%2C%20label%3D%22Baseline%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%2C%20(a%2C%20b)%20in%20enumerate(zip(knots%2C%20np.r_%5Bknots%5B1%3A%5D%2C%20high%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grid%20%3D%20np.linspace(a%2C%20b%2C%20240)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20powers%20%3D%20design_matrix(grid%2C%20degree%2C%20knots%2C%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20blocks%20%3D%20fit%5B%22beta%22%5D.reshape(-1%2C%20degree%20%2B%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20base%20%3D%20powers%20%40%20blocks%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Draw%20each%20region%20separately%20to%20preserve%20jumps%20at%20the%20knots.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20adjusted%20%3D%20powers%20%40%20blocks%5B%3A%20j%20%2B%202%5D.sum(axis%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.fill_between(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20base%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20adjusted%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dcolours%5B%22raspberry%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Total%20adjustment%22%20if%20j%20%3D%3D%200%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.legend(loc%3D%22lower%20right%22%2C%20fontsize%3D8%2C%20frameon%3DTrue)%0A%20%20%20%20%20%20%20%20ax.set(%0A%20%20%20%20%20%20%20%20%20%20%20%20xlim%3D(low%2C%20high)%2C%20ylim%3DY_LIMITS%2C%20xlabel%3D%22Age%20(years)%22%2C%20ylabel%3D%22Height%20(cm)%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20plt.close(fig)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20return%20(draw_fit%2C)%0A%0A%0A%40app.cell%0Adef%20gallery(%0A%20%20%20%20ages%2C%0A%20%20%20%20degree%2C%0A%20%20%20%20draw_fit%2C%0A%20%20%20%20fits%2C%0A%20%20%20%20heights%2C%0A%20%20%20%20knots%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20model_names%2C%0A%20%20%20%20n_distinct%2C%0A%20%20%20%20tails%2C%0A%20%20%20%20view%2C%0A)%3A%0A%20%20%20%20_settings%20%3D%20%7B%22degree%22%3A%20degree.value%2C%20%22knots%22%3A%20knots%2C%20%22tails%22%3A%20tails.value%7D%0A%20%20%20%20_selected%20%3D%20range(6)%20if%20view.value%20%3D%3D%20%22All%20six%22%20else%20%5Bmodel_names.index(view.value)%5D%0A%20%20%20%20_cards%20%3D%20%5B%5D%0A%20%20%20%20for%20_kind%20in%20_selected%3A%0A%20%20%20%20%20%20%20%20_fit%20%3D%20fits%5B_kind%5D%0A%20%20%20%20%20%20%20%20_text%2C%20_formula%2C%20_columns%20%3D%20explain_fit(_kind%2C%20degree.value%2C%20len(knots))%0A%20%20%20%20%20%20%20%20_fig%20%3D%20draw_fit(_kind%2C%20_fit%2C%20_settings%2C%20(ages%2C%20heights))%0A%20%20%20%20%20%20%20%20if%20_kind%20%3D%3D%205%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_df%20%3D%20f%22%7B_fit%5B'df'%5D%3A.1f%7D%20effective%20df%20%C2%B7%20%7Bn_distinct%7D%20knots%22%0A%20%20%20%20%20%20%20%20elif%20_fit%20and%20not%20_fit%5B%22identified%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_df%20%3D%20%22Coefficients%20not%20identified%22%0A%20%20%20%20%20%20%20%20elif%20_fit%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_df%20%3D%20f%22%7B_fit%5B'df'%5D%7D%20fitted%20coefficient%22%20%2B%20(%22s%22%20if%20_fit%5B%22df%22%5D%20!%3D%201%20else%20%22%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_df%20%3D%20%22Requires%20degree%20%E2%89%A5%201%22%0A%20%20%20%20%20%20%20%20_card%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%23%23%23%20%7Bmodel_names%5B_kind%5D%7D%5Cn%5Cn**%7B_df%7D**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(_text)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(_formula)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(_columns)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_cards.append(f'%3Csection%20class%3D%22fit-card%22%3E%7B_card.text%7D%3C%2Fsection%3E')%0A%20%20%20%20_legend%20%3D%20(%0A%20%20%20%20%20%20%20%20%22**Grey%20dots%3A**%20individual%20people%20%C2%B7%20**Purple%20line%3A**%20fitted%20curve%20%C2%B7%20%22%0A%20%20%20%20%20%20%20%20%22**Grey%20dotted%20vertical%20lines%3A**%20interior%20knots%20%C2%B7%20%22%0A%20%20%20%20%20%20%20%20%22**Brown%20dashed%20vertical%20lines%3A**%20boundary%20knots%20at%20ages%202%20and%2080%20%22%0A%20%20%20%20%20%20%20%20%22(natural%20and%20smoothing%20splines).%22%0A%20%20%20%20)%0A%20%20%20%20if%20tails.value%3A%0A%20%20%20%20%20%20%20%20_legend%20%2B%3D%20%22%20**Shaded%20areas%3A**%20extrapolation%20beyond%20the%20observed%20ages.%22%0A%20%20%20%20_class%20%3D%20(%0A%20%20%20%20%20%20%20%20'class%3D%22fit-grid%22'%0A%20%20%20%20%20%20%20%20if%20view.value%20%3D%3D%20%22All%20six%22%0A%20%20%20%20%20%20%20%20else%20'style%3D%22max-width%3A760px%3Bmargin%3Aauto%22'%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(_legend)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(f%22%3Cdiv%20%7B_class%7D%3E%22%20%2B%20%22%22.join(_cards)%20%2B%20%22%3C%2Fdiv%3E%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20).style(%7B%22max-width%22%3A%20%221500px%22%2C%20%22margin%22%3A%20%22auto%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20flexibility_curves(%0A%20%20%20%20ages%2C%0A%20%20%20%20degree%2C%0A%20%20%20%20design_matrix%2C%0A%20%20%20%20heights%2C%0A%20%20%20%20lambda_for_df%2C%0A%20%20%20%20np%2C%0A%20%20%20%20predict_smoother%2C%0A%20%20%20%20quantile_knots%2C%0A%20%20%20%20smoother%2C%0A%20%20%20%20test_ages%2C%0A%20%20%20%20test_heights%2C%0A)%3A%0A%20%20%20%20def%20_rmse(observed%2C%20predicted)%3A%0A%20%20%20%20%20%20%20%20return%20float(np.sqrt(np.mean((observed%20-%20predicted)%20**%202)))%0A%0A%20%20%20%20def%20_scores(kind%3A%20int%2C%20d%3A%20int%2C%20knots)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Coefficients%2C%20training%20RMSE%20and%20validation%20RMSE%20of%20one%20model%3B%20None%20if%20not%20identified.%22%22%22%0A%20%20%20%20%20%20%20%20train_x%20%3D%20design_matrix(ages%2C%20d%2C%20knots%2C%20kind)%0A%20%20%20%20%20%20%20%20beta%2C%20_%2C%20rank%2C%20_%20%3D%20np.linalg.lstsq(train_x%2C%20heights%2C%20rcond%3DNone)%0A%20%20%20%20%20%20%20%20if%20rank%20%3C%20train_x.shape%5B1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%20%20%20%20%20%20%20%20test_x%20%3D%20design_matrix(test_ages%2C%20d%2C%20knots%2C%20kind)%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20int(rank)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_rmse(heights%2C%20train_x%20%40%20beta)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_rmse(test_heights%2C%20test_x%20%40%20beta)%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_d%20%3D%20degree.value%0A%20%20%20%20curves%20%3D%20%7B%7D%0A%20%20%20%20%23%201.%20Polynomial%3A%20degree%200%20to%2012.%20Chebyshev%20columns%20span%20the%20same%20polynomials%20as%0A%20%20%20%20%23%20powers%20of%20age%20but%20avoid%20numerical%20problems%20at%20high%20degree.%0A%20%20%20%20_u%20%3D%20(ages%20-%2041.0)%20%2F%2039.0%0A%20%20%20%20_tu%20%3D%20(test_ages%20-%2041.0)%20%2F%2039.0%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_deg%20in%20range(13)%3A%0A%20%20%20%20%20%20%20%20_X%20%3D%20np.polynomial.chebyshev.chebvander(_u%2C%20_deg)%0A%20%20%20%20%20%20%20%20_beta%20%3D%20np.linalg.lstsq(_X%2C%20heights%2C%20rcond%3DNone)%5B0%5D%0A%20%20%20%20%20%20%20%20_T%20%3D%20np.polynomial.chebyshev.chebvander(_tu%2C%20_deg)%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_deg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_deg%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rmse(heights%2C%20_X%20%40%20_beta)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rmse(test_heights%2C%20_T%20%40%20_beta)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20curves%5B0%5D%20%3D%20_rows%0A%20%20%20%20%23%202-3.%20Piecewise%20polynomials%20of%20the%20current%20degree%20(both%20parameterisations%20are%20identical).%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_k%20in%20range(0%2C%2013)%3A%0A%20%20%20%20%20%20%20%20_score%20%3D%20_scores(1%2C%20_d%2C%20quantile_knots(ages%2C%20_k))%0A%20%20%20%20%20%20%20%20if%20_score%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20break%20%20%23%20from%20here%20on%20some%20region%20has%20fewer%20than%20d%20%2B%201%20distinct%20ages%0A%20%20%20%20%20%20%20%20_rows.append((_k%2C%20*_score))%0A%20%20%20%20curves%5B1%5D%20%3D%20_rows%0A%20%20%20%20%23%204-5.%20Regression%20and%20natural%20splines%20of%20the%20current%20degree%2C%200%20to%2020%20knots.%0A%20%20%20%20for%20_kind%20in%20(3%2C%204)%3A%0A%20%20%20%20%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20(_kind%20%3D%3D%203%20and%20_d%20%3E%200)%20or%20(_kind%20%3D%3D%204%20and%20_d%20%3D%3D%203)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_k%20in%20range(0%2C%2021)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score%20%3D%20_scores(_kind%2C%20_d%2C%20quantile_knots(ages%2C%20_k))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_score%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rows.append((_k%2C%20*_score))%0A%20%20%20%20%20%20%20%20curves%5B_kind%5D%20%3D%20_rows%0A%20%20%20%20%23%206.%20Smoothing%20spline%20over%20a%20grid%20of%20lambda%20values.%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_target%20in%20np.geomspace(2.05%2C%2076%2C%2032)%3A%0A%20%20%20%20%20%20%20%20_lam%20%3D%20lambda_for_df(float(_target))%0A%20%20%20%20%20%20%20%20_fit%20%3D%20smoother(_lam)%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_lam%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_fit%5B%22df%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rmse(heights%2C%20predict_smoother(ages%2C%20_fit))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rmse(test_heights%2C%20predict_smoother(test_ages%2C%20_fit))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20curves%5B5%5D%20%3D%20_rows%0A%20%20%20%20return%20(curves%2C)%0A%0A%0A%40app.cell%0Adef%20flexibility_section(%0A%20%20%20%20ages%2C%0A%20%20%20%20colours%2C%0A%20%20%20%20curves%2C%0A%20%20%20%20degree%2C%0A%20%20%20%20fits%2C%0A%20%20%20%20heights%2C%0A%20%20%20%20knot_count%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20predict_smoother%2C%0A%20%20%20%20test_ages%2C%0A%20%20%20%20test_heights%2C%0A)%3A%0A%20%20%20%20_labels%20%3D%20%7B%0A%20%20%20%20%20%20%20%200%3A%20%221.%20Polynomial%20(degree%200%E2%80%9312)%22%2C%0A%20%20%20%20%20%20%20%201%3A%20f%222%E2%80%933.%20Piecewise%2C%20d%20%3D%20%7Bdegree.value%7D%20(identical%20fits)%22%2C%0A%20%20%20%20%20%20%20%203%3A%20f%224.%20Regression%20spline%2C%20d%20%3D%20%7Bdegree.value%7D%22%2C%0A%20%20%20%20%20%20%20%204%3A%20%225.%20Natural%20cubic%20spline%22%2C%0A%20%20%20%20%20%20%20%205%3A%20%226.%20Smoothing%20spline%20(%CE%BB)%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_styles%20%3D%20%7B%0A%20%20%20%20%20%20%20%200%3A%20(colours%5B%22purple%22%5D%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%201%3A%20(colours%5B%22petrol%22%5D%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%203%3A%20(colours%5B%22gold%22%5D%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%204%3A%20(colours%5B%22raspberry%22%5D%2C%20%22-%22)%2C%0A%20%20%20%20%20%20%20%205%3A%20(%22%23333333%22%2C%20%22--%22)%2C%0A%20%20%20%20%7D%0A%20%20%20%20%23%20Current%20slider%20setting%20of%20each%20model%3A%20(setting%2C%20coefficients)%20to%20mark.%0A%20%20%20%20_current%20%3D%20%7B%0A%20%20%20%20%20%20%20%200%3A%20degree.value%2C%0A%20%20%20%20%20%20%20%201%3A%20knot_count.value%2C%0A%20%20%20%20%20%20%20%203%3A%20knot_count.value%2C%0A%20%20%20%20%20%20%20%204%3A%20knot_count.value%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_rmse(observed%2C%20predicted)%3A%0A%20%20%20%20%20%20%20%20return%20float(np.sqrt(np.mean((observed%20-%20predicted)%20**%202)))%0A%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(%0A%20%20%20%20%20%20%20%201%2C%202%2C%20figsize%3D(11.5%2C%204.2)%2C%20sharey%3DTrue%2C%20layout%3D%22constrained%22%0A%20%20%20%20)%0A%20%20%20%20_best_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_kind%20in%20(0%2C%201%2C%203%2C%204%2C%205)%3A%0A%20%20%20%20%20%20%20%20_rows%20%3D%20curves%5B_kind%5D%0A%20%20%20%20%20%20%20%20if%20not%20_rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20_setting%2C%20_df%2C%20_train%2C%20_test%20%3D%20map(np.array%2C%20zip(*_rows))%0A%20%20%20%20%20%20%20%20_colour%2C%20_ls%20%3D%20_styles%5B_kind%5D%0A%20%20%20%20%20%20%20%20for%20_ax%2C%20_y%20in%20zip(_axes%2C%20(_train%2C%20_test))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ls%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_colour%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ms%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D_labels%5B_kind%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20Mark%20the%20current%20setting.%0A%20%20%20%20%20%20%20%20if%20_kind%20%3D%3D%205%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fit%20%3D%20fits%5B5%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_mark%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_fit%5B%22df%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rmse(heights%2C%20predict_smoother(ages%2C%20_fit))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rmse(test_heights%2C%20predict_smoother(test_ages%2C%20_fit))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_match%20%3D%20%5Br%20for%20r%20in%20_rows%20if%20r%5B0%5D%20%3D%3D%20_current%5B_kind%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_mark%20%3D%20(_match%5B0%5D%5B1%5D%2C%20_match%5B0%5D%5B2%5D%2C%20_match%5B0%5D%5B3%5D)%20if%20_match%20else%20None%0A%20%20%20%20%20%20%20%20if%20_mark%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_ax%2C%20_y%20in%20zip(_axes%2C%20_mark%5B1%3A%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_mark%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22o%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ms%3D9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20markerfacecolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20markeredgecolor%3D_colour%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20markeredgewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_i%20%3D%20int(np.argmin(_test))%0A%20%20%20%20%20%20%20%20_axes%5B1%5D.plot(_df%5B_i%5D%2C%20_test%5B_i%5D%2C%20%22*%22%2C%20ms%3D13%2C%20color%3D_colour%2C%20zorder%3D7)%0A%20%20%20%20%20%20%20%20_what%20%3D%20%7B0%3A%20%22degree%22%2C%201%3A%20%22knots%20K%22%2C%203%3A%20%22knots%20K%22%2C%204%3A%20%22knots%20K%22%2C%205%3A%20%22%CE%BB%22%7D%5B_kind%5D%0A%20%20%20%20%20%20%20%20_value%20%3D%20f%22%7B_setting%5B_i%5D%3A.2g%7D%22%20if%20_kind%20%3D%3D%205%20else%20f%22%7Bint(_setting%5B_i%5D)%7D%22%0A%20%20%20%20%20%20%20%20_best_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%7B_labels%5B_kind%5D%7D%20%7C%20%7B_what%7D%20%3D%20%7B_value%7D%20%7C%20%7B_df%5B_i%5D%3A.1f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_train%5B_i%5D%3A.2f%7D%20%7C%20%7B_test%5B_i%5D%3A.2f%7D%20%7C%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20for%20_ax%2C%20_title%20in%20zip(%0A%20%20%20%20%20%20%20%20_axes%2C%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20loss%3A%20the%20300%20people%20used%20for%20fitting%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Validation%20loss%3A%203%2C607%20people%20not%20used%20for%20fitting%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20_ax.set_xscale(%22log%22)%0A%20%20%20%20%20%20%20%20_ax.set_xticks(%5B1%2C%202%2C%205%2C%2010%2C%2020%2C%2050%5D)%0A%20%20%20%20%20%20%20%20_ax.set_xticklabels(%5B%221%22%2C%20%222%22%2C%20%225%22%2C%20%2210%22%2C%20%2220%22%2C%20%2250%22%5D)%0A%20%20%20%20%20%20%20%20_ax.set(%0A%20%20%20%20%20%20%20%20%20%20%20%20xlabel%3D%22Number%20of%20coefficients%20(effective%20df%20for%20plot%206)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D_title%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ylim%3D(8.8%2C%2012.0)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax.title.set_fontsize(10.5)%0A%20%20%20%20_axes%5B0%5D.set_ylabel(%22RMSE%20(cm)%22)%0A%20%20%20%20_axes%5B0%5D.legend(fontsize%3D8%2C%20loc%3D%22upper%20right%22%2C%20frameon%3DTrue)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Choosing%20K%20and%20%CE%BB%3A%20training%20loss%20against%20validation%20loss%0A%0A%20%20%20%20%20%20%20%20Each%20line%20is%20one%20model%20from%20above%2C%20fitted%20with%20more%20and%20more%20flexibility%3A%0A%20%20%20%20%20%20%20%20a%20higher%20polynomial%20degree%2C%20more%20knots%2C%20or%20a%20smaller%20%CE%BB.%20The%20degree%20slider%20sets%0A%20%20%20%20%20%20%20%20d%20for%20plots%202%E2%80%935.%20**Open%20circles**%20mark%20the%20current%20slider%20settings%3B%20**stars**%0A%20%20%20%20%20%20%20%20mark%20the%20lowest%20validation%20loss%20for%20each%20model.%20The%20y-axis%20starts%20at%208.8%20cm%2C%20so%20the%0A%20%20%20%20%20%20%20%20stiffest%20models%20(a%20line%20has%20RMSE%20above%2019%20cm)%20are%20above%20the%20plot.%20Quantile%20knots%0A%20%20%20%20%20%20%20%20move%20when%20K%20changes%2C%20so%20the%20training%20loss%20of%20a%20spline%20can%20go%20up%20slightly.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_fig)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20Model%20%7C%20Best%20setting%20on%20the%20validation%20set%20%7C%20Coefficients%20%2F%20edf%20%7C%20Training%20RMSE%20%7C%20Validation%20RMSE%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%3A--%7C%3A--%7C--%3A%7C--%3A%7C--%3A%7C%5Cn%22%20%2B%20%22%5Cn%22.join(_best_rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Training%20loss%20keeps%20falling%20as%20a%20model%20gets%20more%20coefficients.%20Validation%20loss%0A%20%20%20%20%20%20%20%20falls%20while%20the%20extra%20flexibility%20captures%20the%20pattern%20and%20rises%20once%20it%20starts%0A%20%20%20%20%20%20%20%20following%20noise%20in%20the%20300%20training%20people.%20**Use%20validation%20loss%20to%20compare%0A%20%20%20%20%20%20%20%20settings%3A**%20training%20loss%20alone%20rewards%20flexibility.%20For%20a%20real%20analysis%2C%0A%20%20%20%20%20%20%20%20cross-validation%20on%20the%20training%20data%20can%20also%20guide%20the%20choice%20of%20degree%2C%0A%20%20%20%20%20%20%20%20K%20or%20%CE%BB.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20).style(%7B%22max-width%22%3A%20%221500px%22%2C%20%22margin%22%3A%20%22auto%22%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20source_note(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20*Javier%20Garcia-Bernardo%20%C2%B7%20Utrecht%20University%20%C2%B7%20ML4Prediction*%0A%20%20%20%20Data%3A%20NHANES%202009%E2%80%932012%20via%20the%20R%20package%20%60NHANES%60%20(%60NHANESraw%60)%2C%20unweighted.%0A%20%20%20%20Based%20on%20James%2C%20Witten%2C%20Hastie%20%26%20Tibshirani%2C%20*An%20Introduction%20to%20Statistical%0A%20%20%20%20Learning*%2C%202nd%20ed.%2C%20Chapter%207%0A%20%20%20%20(%5BDOI%3A%2010.1007%2F978-1-0716-1418-1%5D(https%3A%2F%2Fdoi.org%2F10.1007%2F978-1-0716-1418-1)).%0A%20%20%20%20%22%22%22).style(%7B%22max-width%22%3A%20%221500px%22%2C%20%22margin%22%3A%20%22auto%22%7D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A