1895年8月，就任参谋本部第2局（情报部职员，19年3月第一次清国公使馆武官。在此后的度回国担任联队长，他几乎都在北京渡过。他在北京设立特务机关，对外则以青木公馆的名义，广泛结交中国官绅人士。其最为得意之举莫过于取得宜隶按察史袁世凯的信赖。定当时负责督练新建6军，多有借重青木之处，二人遂结为至交，当袁出任山东巡抚时，特邀青木前往济南协助编练新军，袁世凯经常对同僚讲；青木是唯一可靠的日本人。19年青木前往济南，途中适逢义和团起事，被迫滞留天津。青木在天津纠集日租界的侨民组成义勇队，抵抗义和团的进攻，不久八国联军入侵，青木积极协同联军作战；攻陷天津城后，占领天津之后，设立军事管制机构——暂行管理津郡城厢内外地方事务都统衙门，后更名天津地区临时政府，青木自始至终参于其事，担任军政委员，大肆搜捕杀害义和团民。

不过好景不长，袁世凯下野，出洋考察，先后去了德国法国，因果等欧洲国家，青木宣纯在中国也呆不下去了，只能回到了日本。

等到徐树铮开始组建反西北包围网的时候，儿玉源太郎就将青木宣纯又派回了中国，组建负责情报工作的青木机关。