对于胡乔木来说，可能一生中最重要且最重大的一件事情，就是成为毛主席的秘书。
因为在《中国青年》发表的一篇《青年运动中的思想问题》文章，而引起了毛主席的关注。
毛主席在看后对他大家赞赏，称他“是个人才”。后来毛主席的秘书周一舟因为工作调动，工作需要有人接替，毛主席点名要胡乔木当秘书。
此后，胡乔木在毛主席身边工作20多年。其间，他为《解放日报》起草社论，整理《在延安文艺座谈会上的谈话》。
在此期间，发生了很多令人们记忆深刻的事情。“毛主席为胡乔木背包”的故事更是常常被人们提起。
王家湾是个很小的山村，在著名的石寨山的向阳山坡上，开出几层窑洞，住着不到20户人家。
由于河水冲涮，水土流失，不是山挡水，就是水绕山，形成许多沟沟岔岔，湾湾道道，地形复杂。
毛主席等同志住的这个院子，连个围墙也没有，自然也谈不上门，是完全开放型的。
为使领导同志有个活动的地方，他们就在这个院子里，用树枝搭起个可以遮阳的凉棚，谁知，这个凉棚倒派上了大用场。
中央的很多重要的会议，都是在这个棚子底下举行的。其他工作人员从这里进进出出，领导同志们也不回避。
当时他们并不知道胡乔木是什么人，只知道是从陇东土改工作队回来的。由于的进攻，致使已开始了的陇东土改工作难以正常进行下去，工作队只好撤销。
那时没有对讲机这种迅捷的通讯设备，虽说知道胡乔木要来，但是具体的时间他们并不知道。
但是，毛主席早早就走出了窑洞，出了院子，向王家湾村外走去，出了村又向前走了足有二里多路才迎上。
只见胡乔木等同志，个个朝气蓬勃、雄赳赳地走来。胡乔木走在最前边，背着一个背包，向毛主席走来。
毛主席大步迎上前去，非常高兴地与他握手，问长问短，并伸手去接胡乔木背的那个背包，打算往自己的肩上背。
毛主席亲切地挽着胡乔木的手，两人喜气洋洋地并排走着，热烈地交谈着，向王家湾村中走去。
因为当时很多人并不知道胡乔木究竟是何人，所以“毛主席为胡乔木背包”的故事在当时受到了极大的关注度。
延安时期的毛主席，是十分勤奋的，他的很多重要著作，都是在延安窑洞里写出来的。
但因为延安图书匮乏，毛主席总是千方百计地寻书来读。1943年12月，毛主席写信给胡乔木：
乔木：请你就延安能找到的唯物史观社会发展史，不论是翻译的，写作的，搜集若干种给我。听说有个什么苏联作家写了一本猴子变人的小说，我曾看过的一本赖也夫的社会学，张伯简也翻过（或是他写的）一本《社会进化简史》，诸如此类，均请收集。12月20日
毛主席让胡乔木找的这两本书是毛主席早就一直想要阅读的两本书，他也曾多次跟胡乔木提起过。
胡乔木也是一个十分喜欢看书的人，在毛主席身边，受毛主席的感染，他开始更加注意读各种各样的书。
后来，读书成了胡乔木最大的兴趣爱好，有时她可以同时看五到六本截然不同的书。
胡乔木晚年时期，家中收藏书一共达3万多册，装在140个书架上。就算是这样，他还是会经常向北京图书馆、中央编译局图书馆等处借书。
在毛主席身边，胡乔木除了大量的读书外，还会大量的阅读相关的文献，《六大以来重要文件汇编》就是胡乔木成为毛主席秘书后的“第一课”。
后来有参与这项工作的一位工作人员回忆：胡乔木这人，思路特别清楚。乱麻似的一大堆党史问题，经他一梳理，就变得条理分明......
后来毛主席也曾夸赞胡乔木：“别人几个月没有搞出头绪的东西，胡乔木几天就能理清楚。”
“胡乔木对于稿件的审查，小至标点符号，大到方针政策，都会严格要求，评点入微，其苛刻程度甚至到了尖酸刻薄的地步。一篇稿件，经常都是要经过三番五次的修改，搞得大家都快魔怔了。但是，大家都会按照他要求的修改，这就是他折服众人之处，他不仅能够指出别人的不足，而且还能动手，写出或改写出的确技高一筹的佳作。”
20世纪50年代初，胡乔木还担任中央人民政府文化教育工作委员会秘书长、翻译工作委员会主任、文字改革委员会委员、汉语拼音方案审订委员会副主任等多项职务。
1949年，他致信季羡林，提出国家正需要通晓东方文题的语文人才，是否可把南京的东方语专、中央大学边政系的一部分与边疆学院合并到北大来。
胡乔木知道毛主席很喜欢东语系马坚教授写的几篇文章，还特意让季羡林转告马教授。
