韦思谦，阳武（今河南原阳）人，本名仁约，字思谦，因其名发音与武则天之父名讳相似，所以称字。祖先从京兆向南迁徙，定居于襄阳。考中进士，多次授任为应城令。一年之后参加考选，韦思谦在任上政绩考核为末等，依照旧制类这种情况大多是不予进职，吏部尚书高季辅说：自从我任职考选部门，今天才得到这样的一个人才，怎么能因为小瑕疵而舍弃品德高尚的人呢。就提升他做了监察御史。韦思谦从此就出了名，他曾经对人说：御史出都，如果不动摇一方，震慑州县，就是失职。当时中书令褚遂良低价购买中书省翻译官的土地，韦思谦上奏弹劾这件事，褚遂良被降职为同州刺史，等褚遂良复职以后，韦思谦不得升职，出任清水令，他对别人说：我性格狂放粗率，被授予大权，遇事就要发作。招祸害缠身是理所当然的事儿，然而大丈夫身居刚正之位，必须无所畏惧来报答国恩，终不能做碌碌无之臣来保全妻子儿女。左肃机皇甫公义任检校沛王府长史，引进韦思谦任同府仓曹，他对韦思谦说：您岂是池中之物，暂且委屈您做几十天的宾客，提高一下本府的声望，之后多次迁升任右司郎。
  永淳初年，历任尚书左丞、御史大夫。当时武侯将军田仁会因与侍御史张仁祎不和，就上奏诬陷他，唐高宗到殿前责问张仁祎，张仁祎慌张害怕，对答不当，韦思谦登上大殿台阶进谏道：臣与张仁祎同在一个部门，非常清楚事情的经过，张仁祎为人懦弱而无能，不能为自己申辩。如果田仁会迷惑圣上视听，使张仁祎不正常地获罪，那就是臣事君不尽心了，请让这二人为此事对证，他言辞流利，含义鲜明畅达，高宗非常赞同。韦思谦在御史台任职，每次见王公从不行跪拜礼。有人劝他行跪拜大礼，他回答说：雕鹗鹰鹯岂能与众禽伴！为何要行跪拜礼来亲近他们呢，况且身为谏官，本来应独立。他刚任左丞时，上奏说：陛下为各部门选择人才，没有合适的人选就空缺不授，现在您不吝惜好的锦缎让我来裁剪，把好的位置给我，这是陛下知臣之深也，也是小臣鞠躬尽瘁的时候了，他在任上整顿制订法纲，朝廷肃然。
  武则天临朝称制，他转任宗正卿，恰逢改换官名，改任司属卿。光宅元年分别设置左右肃政台，又任命韦思谦为右肃政大夫。大夫过去和御史行对等之礼，惟独韦思谦坐着接受对方拜见。有人此提出意见，韦思谦说：朝廷班列本有等级差别，为何要无原则地行事呢垂？垂拱初年，赐爵博昌县男（博昌县男爵），升任凤阁鸾台三品。第二年接替苏良嗣任纳言。垂拱三年上表告老请求辞官，武则天答应了，加授太中大夫。永昌元年九月死于家中，追赠幽州都督，有两儿子：韦承庆和韦嗣立，都曾任唐朝丞相。