此後，林萬億出任臺北縣副縣長，開啟改革教育、建構社會福利體系、關心原住民族的執政初體驗。隨後於2007年受邀擔任行政院政務委員，擘劃「大溫暖社會福利計畫」，內容包括縮小城鄉與貧富差距、強化老人安養、因應少子女化、促進國民健康，其中，「建構長期照顧十年計畫」成為政策主軸，也為日後的「長照2.0」奠定基礎。
作為學者型政務官，林萬億多年來常保理想性格，在政策規劃上首重理論根據與證據基礎。他坦言，決策節奏快、說理需簡練、執行要有效率，才能跟上不同領導風格的執政團隊，成為他從政以來最大的考驗；同時還得說服跨部會協作，才能完成跨內政、教育、衛生、勞動的大型計畫。幸而在臺北縣副縣長任內已有實戰經驗，也早在參訪瑞典社會民主黨時體認到「確信唯有參與決策與執行，才有可能實現福利國」。
奠基：讓社工成為受社會認可的專業
面對制度尚未成形、社會認同仍待建立的年代，林萬億以長遠眼光投入《社會工作師法》草擬工作，為社工專業奠定法制根基、爭取社會肯定。林萬億提到，他在美國深造時收到時任臺灣社會工作專業人員協會（簡稱社工專協）創會理事長徐震的來函，請他參考美國社會工作專業制度，研擬臺灣的社會工作師法，1990年3月初回國後隨即啟動立法工作，黃清高、張振成、郭登聰、周玲玲與黃梅羹等人均參與其中，分別代表社工專協、中華民國醫務社會工作協會、政府社政與學術界。
