会自己逛淘宝发红包 这个语音助手有点越界

站长云网 2024-10-26 差评 站长云网

前两天玩到了一个很有意思的手机助手。虽然还很不成熟,甚至可以说简陋。但是,世超随手录了几段发到了群里,直接收获一堆来自数码编辑们的惊叹。“它是怎么做到的?”


现在,我就把这几段素材分享出来,给差友们也看看。

在世超的素材里,这个助手做到了像人一样理解指令,并且完美操作了手机。

这个操作完美到什么程度呢。现在我正吃着的这碗香气扑鼻的大面条,就是这个助手给我点的,全程我几乎没有插手。


我只和它说,“我想吃次坞阿生手打面的红烧小排面了。”

接着,它就开始在我手机上操作了。熟练地退出对话界面,在一堆花花绿绿的应用中,调出点饭的那个黄色袋鼠头。

而且,我的指令里没说要吃哪家。它找到好几家后,知道向我二次确认店家信息。

在得到第一家的答复后,进店、搜索、加购,就这么丝滑地帮我点上了。

当然了,出于安全考虑,付钱的这步还得我们自己来。但其他部分,基本不需要我们插手。


后面还有更神奇的。

最近编辑部的一位好朋友拿了块B站的百万粉丝小牌牌,半个办公室的同事都排着队跟他合照,整个朋友圈都被刷屏了。

我实在嫌一个一个点赞留言实在太麻烦了,就试着让它帮我一步到位。

“帮我给小发最新朋友圈点赞,并且写一串彩虹屁。”

它不仅精准地找到了小发,甚至还知道偷懒用缩写的xf搜。

点进朋友圈,找到了最上面一条,然后轻轻送上一个赞。并且,在评论区留了一串,我这辈子也憋不出来的彩虹屁。


看到这,可能很多差友们开始好奇,世超到底用的啥手机。

怎么感觉聪明程度,和自己手机上的助手不是一个级别的?

其实它不是Siri这种手机自带的手机助手,而是世超前两天从智谱那里薅来的AIAutoGLM,一个手机上的AI助手。

感兴趣的可以申请内测试试,不过目前还只支持Android,果子用户们还得等等了。

它这种操控手机的设定,这和前几天刷屏的Claude3.5的新能力不谋而合了。Claude3.5也可以做到控制电脑,甚至能自己在电脑上玩数独(玩得很烂)。


而智谱的AutoGLM则是可以控制手机。不需要我们设定什么工作流,什么都不需要设置,只需要说话。

读到这,是不是觉得有点贾维斯那意思了?

不过,作为一个外来应用,智谱助手要想达到上面这些操作,方法还比较粗暴,只能通过获取我们的无障碍权限这个权限可以让应用模拟我们的操作,来控制我们的手机。

面向老年人的平安通,用的也是类似的权限。


有了畅通无阻的权限,再加上AI的理解和对话能力的加持。使得智谱的助手,可以完美复刻我们很多的操作。

在微信上,它能发消息、转账、发红包、朋友圈点赞,关注账号,阅读账号内容并且总结等等等等。

像给你的老婆发个情人节精美小作文,或者给你的老板发段彩虹屁。你指令给的不准,它也能懂。

说句“让火锅赶紧下楼,”它就知道要发下楼。


再比如赏火锅个5块钱红包,也是大手一挥,大气至极。(素材演示,实际并未转账)

还好付钱得手动结账,不然真怕啥时候口误,就不知道便宜谁了。


像导航软件,打车、搜攻略,导航这些最简单的,都是指哪打哪。它也能理解各种应用里的内容,像让它去小红书上找个什么攻略,并且总结一下。


很多以前压根不会让手机助手做的事,现在我都敢张嘴,试着让它给我办办看。

就比如世超现在岁数小涨,就经常容易忘事。

家里的牙膏没了,餐巾纸要买了,或者是某个东西坏了。我前脚刚说:哎,这东西得记得买了。

结果一转头,马上把这茬忘了。就算点开了淘宝,要是中途一个消息弹出来,就再不可能点回来。

所以我家水壶,现在已经坏了半个月了……

这回我路过看到那个盖子坏了的水壶,只用打开手机说:“给我买一个上次买过的浇水壶。”然后再点击付款就完成了。


你还能把大模型的能力也用起来,它不仅能写朋友圈的彩虹屁,也能给你写出几十、上百字的商品好评。


不过,试用中,世超也发现了这种模拟点击的操作方法存在的问题:如果遇到弹窗,智谱这个助手就傻眼了。

要么直接点进广告里去了;要么聪明点,等到弹窗消失;如果遇到必须手动×掉的广告,它就只能求助于我们。

你以为它完全自动化了,结果却突然要你手动操作一下,这就让人格外难受了。


几天试下来,类似这样的小毛病,大大小小也遇到不少。

世超一直常用的外卖软件其实是饿了么,导致我一开始让它帮我点饭,它直接就罢工了,说我没磨硬拉,连点饭APP都没有就让它干。


这是由于还在内测,所以支持的软件数量还比较少。操作起来也不稳定,现在能用的功能,主要还是集中在下面这几块。


很多系统级别的任务,像换个壁纸,目前它还做不到。让它去支付宝里,给你偷能量、喂小鸡,它也会无奈地说自己不会(这个建议赶紧上架,很需要)

并且反问你:【你确定要我干吗?】。

比如你如果非它试试,要么就是卡住不动,要么就是给你打开其他软件,来一场抽象瞎点。


当然了,虽然有不少瑕疵,但这些和世超自己薅到的还是内测版有关。

应用少、不稳定这些问题,以后都是可以慢慢解决的。我估计按照AI应用们卷的速度来看,到下个月这个工具就会大变样。

而且,让AI能操作工具,这事其实并不好做。尤其大模型的各种能力在实际落地执行的时候,很容易发生冲突,互相打架。

这也是为什么大模型发展成这样了,能真正在手机上取代操作的phoneuse应用还是很少。

不过,相信看到这里,不少差友心里一定有担心。

作为一个第三方应用,获取这么高的系统权限,是不是会有风险?

如果真的就这么光杆子把应用推到大家面前,也一定会因为风险和隐私问题受到质疑。

解法之一可能是和主机厂商的深度合作。而智谱在这一周,也已经官宣了和高通基于骁龙芯片的端侧大模型优化,还有和三星的战略合作。

有种一切正按照计划走的即视感。

总而言之世超觉得,如果说贾维斯,现在这个初始版的AutoGLM还是担不起。

但给我们的手机助手来个超级加倍,确实是绰绰有余。

责任编辑:站长云网