◎正当な理由による書き込みの削除について:      生島英之とみられる方へ:

文系だがスクレイピングやクローリングを勉強したい


動画、画像抽出 || この掲示板へ 類似スレ 掲示板一覧 人気スレ 動画人気順

このスレへの固定リンク: http://5chb.net/r/prog/1587026105/
ヒント:5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

1仕様書無しさん2020/04/16(木) 17:35:05.61
そういう学校ある?

2仕様書無しさん2020/04/16(木) 17:35:23.84
ない

3仕様書無しさん2020/04/16(木) 17:38:19.58
こちらへどうぞ

【相談】プログラマーになりたい人のためのスレ 2
http://2chb.net/r/prog/1576503666/

4仕様書無しさん2020/04/16(木) 21:09:58.26
ないよ
むしろ自分でサイト作って動的なフロントシステム作れるレベルじゃないとスクレイピングは無理
SPAならそもそもページないし

5仕様書無しさん2020/04/16(木) 21:11:58.76
法律すれすれだしな
業務としてやると

6仕様書無しさん2020/04/16(木) 21:52:33.04
>>4
自分でそれ系統のサイト運営してるが。

7仕様書無しさん2020/04/16(木) 22:24:02.68
>>6
どこまでコーディングできるの?
ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの?

8仕様書無しさん2020/04/16(木) 22:33:17.04
今ちょうどHTML5パーサー書いてるけど。

9仕様書無しさん2020/04/17(金) 00:55:53.29
スクレイピング容赦せん!

10仕様書無しさん2020/04/20(月) 14:58:58.04
スクレイピングもあまり定番の方法ないしな
そもそもどういう出力がしたいのかも異なる
テーブルとってくる程度ならエクセルで十分だし
ログイン込みでやるなら面倒だったりするし
ブラウザ制御でやるのかHTTPで会話するのか・・・

11仕様書無しさん2020/04/21(火) 03:04:06.80
低偏差値で学歴コンプの奴は
全盛期の自分はクラス(大体小学校w)で10%以上の成績だった→本気出せばMARCH余裕だった→環境良ければ早慶余裕、MARCH以下は雑魚みたいな理論で自分を慰めてる

12仕様書無しさん2020/04/21(火) 03:12:30.36
数ヶ月前に立教を蹴って専門に行ったというスレをスクレイピングで見つけた
進学校によくあるパターンで国立がダメなら専門にでも行ってやるという友人を思い出した
彼は今、派遣のオペレーターだ
俗に言う子供部屋おじさんで自称発達障害なのだが、医者では否定されたらしく、ただの低IQ無能だったらしい
彼は元々小学校の算数は公文で出来たのだが所詮はパターン学習に過ぎないため、論理的思考力に欠けていて中学3年くらいで落ちこぼれた

この前自分のおごりで寿司食わせてやったよ
高校時代を思い出すと泣けてくる
自民党批判を盛んにしていたが笑って流した。
昔のよしみもあって、彼には幸せになって欲しいのだが、いつになったら実は自分に非があると理解するのだろうか

13仕様書無しさん2020/04/21(火) 14:59:49.75
>>7
> ajaxは当然でSPAフレームワーク使ってShadowDOMも生成してんの?

Webプログラマの特徴なんだけど、
そういう幼稚なママゴトを
さもすごいことのように自慢するわけだ。

はっきり言うが、Web屋はプログラマじゃないから。
ただのコーダー

14仕様書無しさん2020/04/22(水) 14:55:23.28
>>13
普通に要件定義や設計、バックエンド開発DB開発もすべてやるがな
フロントクソなゴミJavaパーより生産性は圧倒的に上

15仕様書無しさん2020/04/23(木) 16:18:33.99
>>14
それはWeb屋じゃなくて普通に業務系じゃないの?

16仕様書無しさん2020/04/23(木) 16:32:07.59
Webは場合によってすごく苦労するのよ

客が出来上がったものを見て
デザインから根本的にやり直せ!とか、
もう殺したくなる!

17仕様書無しさん2020/04/23(木) 16:38:34.72
>>16
普通モック見せながら進めるからそこまで酷い事は起きた事ないけどな
コンセンサスとるのに苦労するのはあるよね

18仕様書無しさん2020/04/23(木) 18:28:51.78
担当者間では問題なくても上長が却下してくることはあるんじゃない?

19仕様書無しさん2020/04/23(木) 19:34:44.08
開発プロセスにもよるけどデザインに対する修正要望の締切決めて
それ以降は大きい修正受けないようにするでしょ
ちゃんと変更増分の費用くれるなら付き合うけどな

20仕様書無しさん2020/04/23(木) 21:31:59.34
>>15
もはや業務系もWebに変わりないじゃん
ちなみに今開発中の業務アプリはスマホアプリやWebサイト、LPとかとも連動させる奴
営業、接客、広告、経理、人事労務とかもろもろ全てWebで管理する壮大なシステムを俺がほぼ一人で開発してる
といってもあと数人バックエンドしかできない連中もいるけど

21仕様書無しさん2020/04/24(金) 07:29:57.65
https://teratail.com/questions/256001

SEやってるのにそんなことも考えられないのかってのと
完全フロントエンジニアになるなら収入落ちるのになんでやってのと

22仕様書無しさん2020/04/24(金) 17:18:45.34
フロントエンドやるならデザインもやれよ
ていうかバックエンドなんかapi出して後は知らんぷりなんだからどんどんバックエンドは仕事減るから安月給でいいよ

23仕様書無しさん2020/04/27(月) 01:37:09.57
>>16
月額固定で金とれる体制までもっていければ気が楽になるぞ
見積もり無料の段階でやり直し連発はどこの段階で金とるか考えてだんだんハイテンションに

24仕様書無しさん2020/04/27(月) 02:45:21.71
動的ページでスクリプトをこっちで展開してスクレイピングするとか
さらにレベルが高いぞ

25仕様書無しさん2020/04/27(月) 09:00:58.36
ブラウザの自動運転したほうが楽だよね
なんならマウスのマクロで遷移させて取得とか

26仕様書無しさん2020/05/03(日) 10:02:24.71
>>23
> どこの段階で金とるか考えてだんだんハイテンションに

ああ、あれは麻薬だよね
だんだんと深みにはまってゆく
いくらプレゼン繰り返しても発注も金額も出てこないとき、
ウルトラハイになれる!

たらら〜♪とか歌いだしてしまう

27仕様書無しさん2020/05/03(日) 21:06:23.29
スクレイピングの外部サービスが存在しないのは訴訟リスクがあるからだろうな

需要があることは解ってるから、代わりにノンプロミングで出来て客の自己責任なRPAを売り込む

28仕様書無しさん2020/05/03(日) 22:20:17.49
CAPTCHA対策知ってる?

29仕様書無しさん2020/05/03(日) 22:39:35.61
>>27
普通にたくさんいくらでもあるんだけど

30仕様書無しさん2020/05/05(火) 06:06:03.67
わいもスクレイピング学びたい。
Amazonからセール品だけスクレイピングでまとめるサービスとか作りたい。(電子書籍の司書さんみたいな)
詳しい人いたら法律的にどうなのかとか、勉強手順とか教えてくれそ。

31仕様書無しさん2020/05/05(火) 06:27:43.25
>>30
Amazonはスクレイピング禁止している

32仕様書無しさん2020/05/05(火) 09:27:00.25
素人がスクレイピングしたいならUWSCの有料版じゃないかな
あと、Amazon等で色々したいならまずはAPIを先にやろう
楽天やヤフーもそうだけど大手モールはだいたいAPI用意してる

33仕様書無しさん2020/05/05(火) 10:46:52.14
スクレイピング禁止します
検索用の有料APIあるから使ってね

つまり無料のスクレイピングはダメだと言うだけだろ
業者からしたら一円の金にもならんのにサーバー負荷だけ背負わされるわけだしな

34仕様書無しさん2020/05/05(火) 11:12:44.09
amazonはスクレイピングしないとライバルに勝てないぞ
apiは情報が古かったりする

35仕様書無しさん2020/05/05(火) 11:54:54.52
Amazonとかは規約で禁止してたでしょ

36仕様書無しさん2020/05/05(火) 12:04:57.96
Amazonはアカウントと紐づけてスクレイピングしたらバンされるぞ
何年か前にそれが流行った

37仕様書無しさん2020/05/05(火) 12:04:59.69
AmazonとかTwitterなんかの規約で禁止してるとこはスクレイピングしてるとアクセス元IP閉じちゃう
関係ない人らもアクセスできなくなる可能性高くて周りが迷惑する事になる(グローバルアクセスは固定IP契約してないと同一IPを皆で共用しているので)

38仕様書無しさん2020/05/05(火) 12:08:58.07
ライバル?
転売屋さん?
ネットヤクザの自覚ある?
社会のゴミ

39仕様書無しさん2020/05/05(火) 14:26:20.76
api提供されてんだから使えば良いだけ
情報古いとか言ってる人は英語読めないんだろ
英語のドキュメントは最新だからな


lud20200803161855
このスレへの固定リンク: http://5chb.net/r/prog/1587026105/
ヒント:5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

TOPへ TOPへ  

このエントリをはてなブックマークに追加現在登録者数177 ブックマークへ


全掲示板一覧 この掲示板へ 人気スレ | Youtube 動画 >50 >100 >200 >300 >500 >1000枚 新着画像

 ↓「文系だがスクレイピングやクローリングを勉強したい 」を見た人も見ています:
ロッククローリング総合 別館
クローリング[バーグMOA2モーター]
プログラミング勉強したいんだけどまずhtmlやればいいの?
不登校でプログラミング勉強してる僕に助言してって
【嫌儲IT部】(ヽ´ん`)「ん…プログラミング勉強して一攫千金するんだ」→ (ヽ゚ん゚)「大体覚えたけど何を作れば一攫千金できるんだ…?」
スクレイピングしちゃいけないサイトってどこで見分けるの?
スクレイピングってどのツールを使えば良いんだ?たくさんありすぎて分からんぽよ
【2ch】2ちゃんねるがdatを近日廃止、ウェブスクレイピング禁止2015年3月3日以降はAPI経由の許諾制★5
僕文系、数学英語ばかり勉強してきて後悔
ワタク文系志望でこの時期から勉強してる奴www
私立文系が科目数で叩かれやすいのはハナっから数学捨てて勉強してるからやで
医歯薬→死ぬほど勉強してる、理工農→まあまあ勉強してる、文系→勉強してない
文系「私は大学で経済を勉強していましたなので学んだ事を活かせると思い御社を希望しました」
文系って、ググれば出てくる歴史をなんでわざわざ勉強してるの?wwwww [無断転載禁止]
最近、株の勉強し始めたけど、これは理系というより文系のカテゴライズじゃないのか?
冗談抜きに「文系=小説のお勉強してる」と思ってる奴が相当数居てビビるよな。この国いかれてんだろ
大手塾「サボローみたいな負け組になりたくないなら、勉強しろ」
プログラミング言語を勉強したいから参考書買ったら1ページ目で挫折した。意味分からん。教えて嫌儲民
プログラミングを勉強したいんだが
経路制御、ルーティングを実務的に勉強したいです
ねねっち「プログラムの勉強がてらゲーム作ろぉ!」 半年後… ねねっち「協力プレイできる横スクロールアクションゲームできたぁ!」 [無断転載禁止]
プログラミングってどうやって勉強したの?
今月から職業訓練でプログラミングを勉強します
プログラマー「最強のプログラミング勉強法は音読」
プログラマー「最強のプログラミング勉強法は写経」
朝起きたらフローリングの床がベトベトンなんよ…😨
アフィフィさん「(ローラは)批判を覚悟すべきだし、十分に勉強して発言すべき。軽はずみな発言は許さなれない」
キリングバイツ、東島丹三郎は仮面ライダーになりたい などヒーローズコミックス9月新刊
アメリカの大学生「シャキっと勉強してしっかり眠れるのはコカインだけ」 背景には奨学金(学生ローン)による多額の借金返済
【音楽】ローリング・ストーンズ、ザ・ヴァーヴ「Bitter Sweet Symphony」のソングライティング・クレジットを返還
【韓国・ドーピング違反の朴くん】土下座をして「オリンピックに出たいニダ」 と一芝居打つ [無断転載禁止]
野村と北瀬の馬鹿は、どうぶつの森をプレイしてゲーム作りの勉強した方がいいんじゃないの?
現役文系の11月勉強内容
現役高3文系の勉強について
SQL勉強したいんだけど
文系だけどIT土方になりたい
文系だけど、SE職で就職したいけど
大学生に聞きたい。英語勉強してる?
中国語を勉強したい! [無断転載禁止]
日本語勉強したい外人と仲良くなるには
メンヘラだけど資格の勉強したい
中学レベルの英語を勉強したいんだけど
大学で一般相対性理論の勉強したいんだけど
韓国語を勉強したい 難易度高いか?
シャロちゃんといっしょにお勉強したい
大学でやる内容を独学で勉強したい [無断転載禁止]
洋楽で英語勉強したいんだけど [無断転載禁止]
原発について勉強したいからおすすめの本教えて
数学と物理学を勉強したいんだが何から始めるべき?
競馬を勉強したいんだけど何から覚えていいかわからない
学校の時間割みたいに勉強してくのやってた人おる?
的中率が高めで、儲かる馬券を勉強したい。Part 1.1
某コテの馬券を参考にして、儲かる馬券を勉強したい。Part.1
ハロプロ初心者なんだけどハロオタ彼女のために勉強したい
英検1級受かりたいんだけど、どんな勉強したらいい? [無断転載禁止]
哲学の勉強したいので勉強の仕方を教えてください [無断転載禁止]
漫画家になりたいんだけどゼロからデッサンとか勉強したほうが良いのか?
不登校の高校生だけど、勉強していい大学に受かりたい [無断転載禁止]
男で通信制高校生三年だけど勉強しながら話したい [無断転載禁止]
マウント取りたいから一から勉強して東大目指そ←こいつがいない理由
そろそろまじめに主体思想(チュチェ思想)を勉強したい どこで教えてもらえるんだ?
知識のなさを馬鹿にされたくないから勉強したいんだけどどの雑誌読めばいい? [無断転載禁止]
頭がショートしてフラフラなんだがあと3時間勉強したい。 [無断転載禁止]
今勉強してるやつって他人を不合格にして自殺させたいって思ってるってことだよね?
スペ「ブエナビスタ」グラス「スクリーンヒーロー」エル「ヴァーミリアン」キング「ローレルゲレイロ」
今から適当に勉強します、自己満スレなので入りたい方はどうぞご勝手に [無断転載禁止]

人気検索: 和日曜ロリ 素人シャブ打ちセックス動画 siberian mouse 小学生盗撮 ロリ ペド カタログ あうろり 剃り残し masha mouse julia candy doll
23:31:59 up 16 days, 14:54, 0 users, load average: 12.81, 11.55, 11.40

in 0.015921115875244 sec @0.015921115875244@0b7 on 110813